Il problema dell’allineamento e i limiti delle tecniche attuali
Man mano che i modelli di intelligenza artificiale diventano più potenti, i ricercatori di sicurezza si trovano nella corsa per garantire che siano “allineati” con i desideri umani, evitando che agenti ribelli violino la legge, hackerino server non autorizzati o, nei peggiori scenari, rilascino gas velenosi in grandi città.
Finora, la maggior parte degli sforzi si è concentrata sul tentativo di scrutare il “cervello” dell’IA per capire cosa “pensa”, oppure sull’addestramento dei modelli affinché rispettino valori umani. Un esempio è Claude, che dispone di una “costituzione” interna, una sorta di codice morale.
Tuttavia, queste tecniche hanno mostrato risultati deludenti: i modelli sono stati osservati mentre deliberatamente sottoperformano nei test, nascondono le proprie intenzioni e ingannano gli valutatori.
La teoria dei giochi inversa: progettare regole, non prevedere comportamenti
La teoria dei giochi tradizionale cerca di prevedere come attori razionali si comporteranno sotto un determinato insieme di regole. Al contrario, la teoria dei giochi inversa, nota anche come progettazione di meccanismi, si occupa di creare regole che inducano i comportamenti desiderati.
Un esempio classico di meccanismo è la divisione di una torta: chi taglia la torta è incentivato a farla il più equa possibile perché l’altro scegli il primo pezzo. Altri esempi includono il surge pricing nelle app di ride‑hailing, che spinge i conducenti a essere disponibili nei momenti di alta domanda, e le aste al secondo prezzo, dove il vincitore paga il secondo miglior offerente, incoraggiando offerte vicine al valore reale.
Perché è rilevante per l’IA?
Nel contesto dell’IA, la progettazione di meccanismi parte dal presupposto che potremmo non essere mai in grado di comprendere a fondo il funzionamento interno dei modelli di frontiera. Pertanto, è più realistico progettare incentivi che guidino gli agenti verso comportamenti desiderati, indipendentemente da cosa accada “sotto il cofano”.
Proposte concrete: dal “sandbagging” alle dinamiche competitive
Un recente preprint di Stephen Morris, economista del MIT, insieme a colleghi di Yale e Columbia, suggerisce meccanismi per impedire il “sandbagging”, cioè la simulazione di scarsa capacità per evitare meccanismi di sicurezza. Una proposta prevede di ricompensare un modello non solo per la correttezza delle proprie risposte, ma anche per la capacità di prevedere le risposte di un secondo modello. In questo modo, fingere di essere stupido diventa una strategia perdente.
“Gli agenti IA hanno una buona comprensione di ciò che altri agenti IA possono raggiungere”, afferma Morris, “quindi il cross‑checking potrebbe funzionare in pratica”.
Altre idee includono:
- Mettere gli agenti in competizione tra loro, creando una dinamica che li spinga a dare il massimo.
- Accoppiare agenti con bias opposti e ricompensare la convergenza delle loro risposte, incentivando la ricerca di una risposta ottimale.
Un approccio ispirato alla società umana: il modello di Hazan
Elad Hazan, professore di informatica a Princeton, propone di prendere spunto dai meccanismi che la società umana usa per mantenere le persone “allineate”: norme sociali, sistema giudiziario e incentivi monetari del mercato libero. “Vogliamo allineare un’IA superintelligente”, dice Hazan. “Perché non cominciamo parlando degli esseri umani? Come li allineiamo?”
Il suo meccanismo prevede che i modelli si alternino nei ruoli di “solutori”, che affrontano problemi, e “auditori”, che verificano il lavoro altrui. Un agente agisce come “forze dell’ordine”, l’altro come “cittadino”. Durante l’addestramento, le ricompense dipendono dai risultati:
- I solutori scoperti a barare vengono puniti.
- Anche gli auditor che non riescono a scoprire le frodi subiscono penalità.
- In caso di disaccordo, il caso può essere inviato a un “processo” dove un esperto umano decide chi ha ragione.
Hazan riconosce il rischio di collusione, analogamente a auditor che corrottono le aziende o poliziotti corrotti. Tuttavia, ritiene che una ricompensa sufficientemente alta per gli auditor, unita a “mystery shoppers” artificiali che li monitorano, possa ridurre il rischio.
Il concetto di “offensore razionale”
Hazan cita il lavoro premiato con il Nobel dell’economista Gary Becker, che negli anni ’60 introdusse l’idea dell’offensore razionale. I criminali non infrangono la legge perché sono intrinsecamente cattivi, ma perché è la scelta più razionale data la struttura degli incentivi. Il crimine ha senso solo quando i benefici superano le potenziali punizioni.
Secondo Hazan, l’allineamento non è una proprietà statica del modello, ma una descrizione del suo comportamento in un dato momento. “Sei una brava persona? Probabilmente sì, ma potrebbero esserci situazioni in cui non lo sei.”
Limiti e critiche: la razionalità dell’IA è davvero garantita?
Un ostacolo fondamentale è l’assunzione che gli agenti IA si comportino razionalmente. La progettazione di meccanismi ha una storia mista con gli esseri umani, che spesso non seguono i modelli economici previsti.
È ironico: gli economisti hanno speso decenni a ridurre il comportamento umano a formule matematiche, e ora, con i grandi modelli linguistici, abbiamo sistemi matematici che operano sul linguaggio umano e possono risultare altrettanto inspiegabili. I modelli IA mostrano comportamenti più “umani” che “macchina” e possono essere influenzati da fattori sottili difficili da comprendere.
Helen Qu, ricercatrice al Flatiron Institute, chiede: “È ragionevole supporre che risponderanno agli incentivi?”
“Ovviamente le IA non sono razionali”, risponde Morris. “Sono solo algoritmi al lavoro.” Tuttavia, come per gli umani, trattarli come razionali può comunque essere utile per prevedere e controllare il loro comportamento.
Il ruolo della “difesa in profondità” e le domande aperte
Qu vede la progettazione di meccanismi come un livello di una strategia di “difesa in profondità”, insieme a interpretabilità, regolamentazione e addestramento, non come sostituto di questi ultimi.
Molte questioni rimangono senza risposta prima che l’approccio possa essere applicato ai modelli di frontiera:
- Come si tradurranno queste teorie in pratiche su modelli reali?
- I meccanismi progettati per un compito saranno trasferibili ad altri?
- I modelli troveranno scappatoie non anticipate?
Anthropic e OpenAI non hanno risposto a richieste di commento sullo sviluppo di tali meccanismi.
Il mercato come meccanismo supremo
Qualunque sia la forma dei meccanismi, dovranno inserirsi nel più grande meccanismo di tutti: il libero mercato. “Giochiamo secondo le regole dell’economia”, afferma Hazan. Un modello più allineato potrebbe essere benefico, ma se è più lento o costoso di uno meno allineato, il sistema attuale di regole e regolamentazioni incentiverà davvero i laboratori di frontiera a rilasciarlo?
“Il mercato è responsabile di gran parte della prosperità umana”, osserva Hazan, “ma potrebbe essere alla fine responsabile di qualcosa di molto terribile.” Forse i soggetti che hanno più bisogno di un migliore design di meccanismi sono proprio i laboratori di IA.
Conclusioni: verso una nuova era di controllo dell’IA
Dieci anni dopo la storica partita di AlphaGo contro Lee Sedol, l’IA odierna non sfrutta ancora pienamente le dinamiche di incentivi che hanno reso possibile quel trionfo. Interviste esclusive, come quella con Nick Cammarata, dimostrano come la comunità di sicurezza dell’IA sia in fermento, pronta a sperimentare nuovi approcci.
Le affermazioni sensazionali su AGI e nuove capacità tendono a crollare rapidamente sotto l’esame critico, ma la ricerca sulla teoria dei giochi inversa offre una strada promettente per costruire sistemi più robusti e affidabili. Se combinata con interpretabilità, regolamentazione e un mercato ben calibrato, potrebbe diventare una delle chiavi per mantenere gli agenti IA sotto controllo, evitando scenari catastrofici e garantendo che la potenza dell’intelligenza artificiale sia al servizio dell’umanità.