OpenAI ha recentemente fatto storia assicurandosi un investimento di 6,6 miliardi di dollari per scalare i suoi grandi modelli di linguaggio, aumentando le loro dimensioni, il volume di dati e le risorse computazionali. Nel frattempo, il CEO di Anthropic ha affermato che la sua azienda sta già sviluppando modelli del valore di 1.000 miliardi di dollari e che presto lancerà modelli del valore di 100.000 miliardi di dollari.

La ricerca rivela problemi di affidabilità

Tuttavia, mentre la spesa aumenta, una nuova ricerca pubblicata su Nature suggerisce che i modelli linguistici di grandi dimensioni (LLM) potrebbero, in effetti, diventare meno affidabili man mano che crescono.

Il cuore del problema, secondo i ricercatori dell'Università Politecnica di Valencia, è l'ipotesi che, man mano che i LLM diventano più potenti e meglio allineati attraverso strategie come il fine-tuning e il filtraggio, diventino anche più affidabili dal punto di vista dell'utente. In altre parole: le persone possono assumere erroneamente che, man mano che i modelli diventano più potenti, i loro errori seguano uno schema prevedibile che gli esseri umani possano comprendere e adattare le loro richieste.

Valutazione delle prestazioni dei modelli

Tuttavia, ciò che risulta difficile per un essere umano non è necessariamente lo stesso per un LLM, come hanno scoperto i ricercatori. Utilizzando modelli vecchi e nuovi di ChatGPT di OpenAI, Llama di Meta e BLOOM di BigScience, i ricercatori hanno valutato le capacità numeriche, scientifiche e di conoscenza di base utilizzando compiti che implicavano somme, vocabolario, conoscenze geografiche e domande scientifiche di base e avanzate.

In generale, lo studio ha osservato che i modelli di linguaggio più nuovi e grandi hanno prestazioni migliori in compiti che gli esseri umani considerano di maggiore difficoltà, ma sono ancora lontani dall'essere perfetti in compiti che considerano facili. Questo porta a non esserci condizioni operative in cui ci si possa fidare che questi modelli siano perfetti. E dato che i LLM più nuovi migliorano principalmente nelle istanze di alta difficoltà, esacerbano la disparità tra ciò che gli esseri umani trovano difficile e il successo dei LLM.

Verifica e affidabilità dei modelli

Invece di chiedersi se i LLM più grandi siano migliori, dovremmo chiederci: "Si può verificare un modello rapidamente?" dice Bishwaranjan Bhattacharjee, inventore principale di IBM. Tuttavia, il problema è che gli esseri umani sono bravi a rilevare gli errori commessi dai modelli e, spesso, giudicano erroneamente i risultati errati dei modelli come corretti, anche quando hanno l'opzione di dire "non sono sicuro".

"Gli errori sono aumentati sostanzialmente per i LLM più nuovi, poiché ora raramente evitano di rispondere a domande al di là della loro competenza", dice Lexin Zhou, coautore dell'articolo. "Il problema più grande è che questi LLM più nuovi forniscono risposte sbagliate con sicurezza". Le persone che utilizzano un LLM per compiti in aree in cui non hanno molta esperienza possono avere una falsa sensazione di affidabilità, poiché non possono rilevare gli errori con altrettanta facilità. Questi risultati indicano che gli esseri umani non sono ben preparati per agire come supervisori affidabili di questi modelli.

Adattamento e personalizzazione dei modelli

Data le limitazioni e i costi dei LLM, alcuni esperti ritengono che le aziende inizieranno con modelli più grandi e poi opteranno per modelli più personalizzati e adattati alle loro esigenze. I LLM possono adattarsi a una vasta gamma di requisiti, fornire la massima opzionalità e aiutare a dimostrare il caso aziendale dell'IA quando un'azienda sta iniziando. Successivamente, man mano che le organizzazioni si concentrano sui casi d'uso più strategici, possono ottimizzare i modelli per creare modelli di linguaggio più piccoli, discreti e redditizi che si adattino alle loro esigenze specifiche.

"Il modello linguistico grande è come un coltello svizzero", afferma Edward Calvesbert, vicepresidente della gestione prodotti di watsonx di IBM, in un episodio recente di Mixture of Experts. "Ti darà molta flessibilità, ma alla fine vorrai usare lo strumento giusto per ogni compito".