Investimenti e ambizioni nel mondo dei LLM

OpenAI ha recentemente chiuso un round di finanziamento da 6,6 miliardi di dollari con l’obiettivo di scalare i propri grandi modelli linguistici, aumentando la dimensione, il volume di dati e le risorse di calcolo. Parallelamente, il CEO di Anthropic ha dichiarato che la sua azienda sta sviluppando modelli da 1 miliardo di dollari, con l’ambizione di lanciare entro breve modelli da 100 miliardi di dollari.

Questi numeri impressionanti riflettono una tendenza del settore: più grande è il modello, più si spera che possa rispondere a una gamma più ampia di compiti, dall’assistenza al cliente alla ricerca scientifica.

Le nuove evidenze scientifiche: più grandi, ma meno affidabili?

Una recente pubblicazione su Nature condotta da ricercatori della Polytechnische Universität Valencia mette in dubbio l’assunto che la crescita delle dimensioni garantisca una maggiore affidabilità. Secondo lo studio, le prestazioni dei LLM tendono a peggiorare su compiti percepiti come semplici dagli umani, mentre migliorano solo su quelli più complessi.

Il problema centrale, secondo gli autori, è la convinzione errata che l’aumento di capacità e di tecniche di allineamento (fine‑tuning, filtri) renda automaticamente i modelli più affidabili dal punto di vista dell’utente.

Metodologia della ricerca

    • Test su modelli legacy e recenti di OpenAI (ChatGPT), Meta (Llama) e BigScience (BLOOM).
    • Valutazione di competenze numeriche, scientifiche e di conoscenza generale.
    • Compiti includenti addizioni, traduzione di vocaboli, domande geografiche e questioni scientifiche di base e avanzate.

I risultati mostrano che, sebbene i modelli più recenti eccellano su compiti valutati come difficili, rimangono significativamente imperfetti su quelli considerati facili, creando una mancanza di condizioni operative in cui si possa contare su risultati privi di errori.

Implicazioni per gli utenti e per le aziende

Come osserva Bishwaranjan Bhattacharjee, Master Inventor di IBM, la domanda cruciale dovrebbe essere: “È possibile verificare rapidamente le affermazioni di un modello?”. Tuttavia, la ricerca evidenzia che gli utenti hanno difficoltà a riconoscere gli errori dei LLM e tendono a considerare corrette le risposte sbagliate, anche quando il modello dichiara incertezza.

Lexin Zhou, co‑autore dello studio, aggiunge: “La frequenza di errori è aumentata nei nuovi LLM perché evitano di rifiutare le domande al di fuori della loro competenza, fornendo risposte sbagliate con alta fiducia”. Questo fenomeno può indurre un falso senso di affidabilità, soprattutto tra chi utilizza i modelli in settori in cui non possiede competenze approfondite.

Strategie aziendali consigliate

    • Iniziare con modelli di grandi dimensioni per dimostrare rapidamente il valore della KI.
    • Passare successivamente a modelli più piccoli e personalizzati, ottimizzati per casi d’uso specifici.
    • Implementare meccanismi di verifica automatica e di supervisione umana per ridurre i rischi di errori non rilevati.

Edward Calvesbert, VP of Product Management di IBM watsonx, paragona i grandi modelli a un “coltellino svizzero”: offrono flessibilità, ma alla fine è necessario scegliere lo strumento più adatto al compito specifico.

Prospettive future

Il dibattito su scala e affidabilità dei LLM è destinato a evolversi. Se da un lato gli investimenti continuano a spingere verso modelli sempre più massivi, dall’altro la necessità di sistemi più trasparenti e verificabili diventa imperativa. Le aziende dovranno bilanciare costi, performance e capacità di monitoraggio per evitare di dipendere da modelli che, sebbene potenti, possono generare errori sistematici difficili da individuare.

In conclusione, la crescita incontrollata delle dimensioni dei modelli linguistici non è una garanzia di affidabilità. La vera sfida sarà sviluppare metodologie di verifica, filtri di sicurezza e strategie di deployment che permettano di sfruttare la potenza dei LLM senza cadere vittima di falsi segnali di sicurezza.