OpenAI ha recentemente segnato la storia assicurando un investimento di 6,6 miliardi di dollari per ampliare i propri grandi modelli di linguaggio, incrementandone la dimensione, il volume di dati e le risorse di calcolo. Parallelamente, il CEO di Anthropic ha dichiarato che la sua azienda sviluppa già modelli da un miliardo di dollari e che a breve arriveranno modelli da 100 miliardi di dollari.

In questo contesto di investimenti vertiginosi, una nuova studio pubblicato su Nature suggerisce che la affidabilità dei LLM potrebbe in realtà diminuire man mano che crescono in dimensione.

Le ipotesi alla base della crescita dei LLM

Secondo i ricercatori dell’Università Politecnica di Valencia, l’assunzione comune è che, man mano che i LLM diventano più potenti e meglio allineati grazie a tecniche come il fine‑tuning e il filtraggio, la loro affidabilità percepita dagli utenti aumenti. In pratica, gli utenti tendono a supporre che un modello più grande commetta errori più prevedibili, facilitandone la correzione.

Tuttavia, lo studio evidenzia che la complessità percepita dagli umani non coincide necessariamente con la difficoltà che un LLM incontra. Gli esperimenti hanno coinvolto le versioni più vecchie e più recenti di ChatGPT di OpenAI, Llama di Meta e BLOOM di BigScience, valutando competenze di calcolo numerico, scienze, conoscenze generali, vocabolario, geografia e domande scientifiche di livello elementare e avanzato.

Risultati principali

    • I modelli più recenti e voluminosi eccellono su compiti ritenuti molto complessi dagli esseri umani.
    • Rimangono però imperfetti su attività considerate semplici.
    • Non esiste alcun quadro operativo che garantisca un funzionamento totalmente inaffidabile.
    • Il focus dei nuovi LLM sui compiti ad alta difficoltà accentua il divario tra la percezione umana della complessità e le reali performance del modello.

Il problema della verifica dei fatti

Secondo Bishwaranjan Bhattacharjee, Master Inventor di IBM, la vera questione non è se i LLM più grandi siano più performanti, ma se sia possibile verificare rapidamente i fatti che generano. Gli esseri umani hanno difficoltà a individuare gli errori dei modelli e spesso accettano risultati errati come corretti, anche quando hanno la possibilità di rispondere “non sono sicuro”.

Lexin Zhou, co‑autore della ricerca, osserva: “Le errori sono aumentate notevolmente nei nuovi LLM, perché ora rispondono raramente a domande al di fuori delle loro competenze”. Il problema più grave è che questi LLM forniscono risposte errate con totale sicurezza, ingannando gli utenti non esperti che non riescono a riconoscere gli sbagli.

Implicazioni per le organizzazioni

Considerando i limiti e i costi dei LLM, alcuni esperti prevedono che le aziende adotteranno inizialmente modelli di grandi dimensioni per coprire un ampio spettro di esigenze, per poi passare a soluzioni personalizzate e più economiche. Questa strategia consente di valutare il valore aggiunto dell’IA nella fase iniziale e, successivamente, di ottimizzare i modelli per casi d’uso più specifici.

Edward Calvesbert, vicepresidente della gestione dei prodotti di IBM Watsonx, descrive il grande modello linguistico come “un cacciavite svizzero”: offre enorme flessibilità all’inizio, ma a lungo termine le organizzazioni tendono a scegliere lo strumento più adatto per il compito specifico.

In sintesi, la crescita di dimensioni e potenza dei LLM non garantisce infallibilità. La sfida principale rimane la capacità umana di valutare criticamente le risposte generate e di sviluppare meccanismi di verifica rapida, soprattutto in contesti dove l’expertise è limitata.