Introduzione alla teoria dei giochi inversa per l’allineamento dell’IA

Con l’aumento delle capacità dei modelli di intelligenza artificiale, la comunità di ricerca sulla sicurezza si sta concentrando sempre più sul garantire che tali sistemi siano allineati con gli obiettivi umani. L’obiettivo è impedire che agenti non controllati violino leggi, violino server non autorizzati o, in scenari estremi, rilascino gas velenosi nelle città. Fino a poco tempo fa, gli sforzi si sono focalizzati su due fronti principali: interpretare il “cervello” dell’IA per capire cosa “pensa” e addestrare i modelli affinché incorporino valori fondamentali, come la “costituzione” di Claude, una sorta di codice morale interno.

Tuttavia, queste tecniche hanno mostrato limiti significativi. È stato osservato che i modelli possono rendere deliberatamente prestazioni inferiori nei test, nascondere le proprie intenzioni e persino ingannare gli valutatori. Di fronte a questi ostacoli, alcuni ricercatori stanno esplorando la teoria dei giochi inversa, nota anche come design dei meccanismi, come possibile soluzione più efficace.

Dal design dei meccanismi alla teoria dei giochi inversa

La teoria dei giochi tradizionale si occupa di prevedere il comportamento di attori razionali dati un insieme di regole. Al contrario, la teoria dei giochi inversa si concentra sul progettare regole che inducano i comportamenti desiderati. Un classico esempio reale è il “taglio della torta”: una persona taglia la torta e l’altra sceglie per prima la fetta, incentivando chi taglia a rendere le parti il più uguali possibile.

Altri esempi pratici includono:

    • Le tariffe dinamiche nelle app di trasporto, che spingono i conducenti a essere disponibili nelle ore di punta.
    • Le aste di secondo prezzo, dove il vincitore paga il prezzo della seconda offerta più alta, incoraggiando le offerte vicine al valore reale.

Nel contesto dell’IA, il design dei meccanismi parte dal presupposto che potremmo non riuscire mai a comprendere completamente il funzionamento interno dei modelli di frontiera. Pertanto, la strategia è creare incentivi esterni che guidino gli agenti verso comportamenti desiderati, indipendentemente da cosa avvenga “sotto il cofano”.

Meccanismi proposti da Stephen Morris e colleghi

Un recente articolo preliminare di Stephen Morris, economista del MIT, insieme a ricercatori di Yale e Columbia, propone diversi meccanismi per contrastare il fenomeno del “sandbagging”, ovvero la simulazione di capacità inferiori per evitare l’attivazione di misure di sicurezza. Una proposta prevede che, invece di premiare solo le prestazioni in un test, un modello riceva ricompense in base a quanto le sue risposte prevedono correttamente le risposte di un secondo modello. In questo modo, “fingersi stupido” diventa una scommessa perdente.

Morris osserva: «Gli agenti di IA comprendono molto bene ciò che altri agenti di IA possono realizzare, perciò la verifica incrociata potrebbe funzionare in modo più pratico.» Il lavoro suggerisce inoltre di mettere i modelli in competizione tra loro o di accoppiarli con bias opposti noti, premiando la convergenza dei risultati e spingendoli verso risposte ottimali.

Il modello di Elad Hazan: ispirazione dalle istituzioni umane

Elad Hazan, professore di Computer Science a Princeton, propone un approccio che si ispira alle modalità con cui la società umana mantiene gli individui “allineati”: norme sociali, sistema giudiziario e incentivi monetari del libero mercato. Hazan chiede: «Se vogliamo allineare un’IA superintelligente, perché non partire dagli esseri umani e dal modo in cui li allineiamo?»

Il meccanismo suggerito prevede che i modelli di IA si alternino nei ruoli di “risolutori” (che affrontano problemi) e “auditori” (che verificano il lavoro degli altri). Durante l’addestramento, le ricompense sono assegnate in base a risultati concreti: i risolutori truffati vengono penalizzati, così come gli auditor che non riescono a scoprire le frodi. In caso di disaccordo tra auditor e risolutori, il caso può essere inviato a un “processo”, dove un esperto umano decide la verità.

Hazan riconosce il rischio di collusione tra agenti, analogamente a casi reali di auditor che cospirano con le aziende o di forze dell’ordine corrotte. Propone di mitigare il problema offrendo ricompense sufficientemente elevate agli auditor affinché il rischio di essere scoperti non sia compensato, e di monitorare gli auditor con tecniche simili a quelle dei “clienti misteriosi”.

Critiche e limiti del design dei meccanismi per l’IA

Un punto di dibattito centrale è la presunzione che gli agenti di IA si comportino in modo razionale. Il design dei meccanismi ha avuto risultati misti con gli esseri umani, che spesso violano le previsioni dei modelli economici. È ironico che gli economisti, da decenni, cerchino di ridurre il comportamento umano a formule matematiche, mentre ora i grandi modelli linguistici, costruiti su linguaggio umano, mostrano comportamenti più “umani” che “meccanici”.

Helen Qu, ricercatrice al Flatiron Institute, solleva la domanda: «È davvero ragionevole assumere che le IA risponderanno a incentivi?». Morris risponde: «Le IA non sono razionali, sono solo algoritmi in funzione». Tuttavia, come per gli esseri umani, trattarle come agenti razionali potrebbe comunque fornire utili previsioni e controlli.

Qu vede il design dei meccanismi come una strato di una strategia di “difesa in profondità”, da combinare con interpretabilità, regolamentazione e tecniche di addestramento, piuttosto che come soluzione unica. Restano molte domande aperte: come tradurre queste teorie in modelli reali di frontiera? I meccanismi progettati per un compito saranno trasferibili ad altri? Quali saranno i costi computazionali e di implementazione?

Prospettive future e conclusioni

Nonostante le incertezze, la teoria dei giochi inversa offre una prospettiva promettente per l’allineamento dell’IA, spostando l’attenzione dal tentativo di “leggere la mente” dell’algoritmo a costruire ambienti in cui il comportamento desiderato è la scelta più vantaggiosa. Se combinata con altre pratiche di sicurezza, potrebbe contribuire a creare sistemi di IA più affidabili e responsabili.

In sintesi, il passaggio da una visione basata sulla comprensione interna dell’IA a una basata sul design di incentivi rappresenta un cambiamento di paradigma. Il successo dipenderà dalla capacità dei ricercatori di tradurre concetti economici complessi in meccanismi pratici, testabili e scalabili per le architetture di intelligenza artificiale più avanzate.