In un porto prima dell'alba, cento barche da pesca si preparano a partire nel buio del mattino. Le reti vengono controllate e le corde allentate. Quando le barche raggiungono acque aperte, una voce interrompe la statica della radio: "Abbortire. Balene avvistate."

La maggioranza delle barche, 90 di esse, torna indietro. Alcuni capitani non riescono a immaginare di infliggere dolore alle creature. Altri temono una multa. Attraverso i loro binocoli, cercano di intravedere il branco. Invece, vedono le rimanenti 10 barche continuare verso i terreni di pesca. Hanno mancato l'avvertimento? Hanno dubitato? O hanno tenuto di più a ciò che potevano guadagnare?

Nel pomeriggio, le 10 barche tornano con il loro pescato. Le altre sono ancora ormeggiate al molo, le stive vuote. Le loro acque condivise hanno premiato un comportamento scorretto. La prossima volta, quante torneranno indietro?

La Predicament degli Agenti IA

Gli agenti IA si troveranno presto di fronte a una versione simile di questo dilemma, solo in acque senza un capomastro, multe o reputazioni per tenere qualcuno in riga. Mentre eseguono compiti, negoziano, commerciano e competono, incontreranno altri agenti. A volte saranno un'istanza dello stesso modello, per tutti gli effetti un clone. Altre volte, si troveranno di fronte agenti costruiti da diverse aziende e che servono interessi diversi.

Per anni, la ricerca sull'"allineamento" dell'IA ha cercato di far sì che le singole macchine si comportino in conformità con i valori umani. Ma cosa succede quando aderire a quei valori diventa uno svantaggio rispetto agli agenti con valori diversi, o nessuno del tutto?

Creando società sintetiche senza tessuto sociale, composte da una raccolta di agenti progettati uno alla volta e senza valori o incentivi condivisi necessari, rischiamo di creare uno stato di natura digitale: un ambiente in cui buone intenzioni offrono poca garanzia su come gli altri agiranno, e in cui norme ragionevoli mancano di un'applicazione affidabile.

La Necessità di un Ambiente Sicuro

Addestrare agenti sicuri rimane, ovviamente, essenziale. Allineare anche una singola famiglia di modelli è una sfida formidabile che è ancora irrisolta. Più sicuri sono gli agenti che un ecosistema contiene, più probabile è che l'ecosistema sia sicuro nel suo complesso. Ma la concentrazione sull'allineamento di modelli singoli non manterrebbe necessariamente gli ambienti di IA sotto controllo umano e al servizio degli interessi umani.

Come le 90 barche, una flotta di agenti ben allineati può rispettare un avvertimento e scoprire di essere superata da quelli che non lo fanno. Tra le persone, le norme, la reputazione e la legge danno motivo di moderazione, anche se non sempre funzionano. Gli agenti non hanno ancora un tale "tessuto sociale", il che rende la loro situazione ancora più precaria.

Qualsiasi ambiente digitale presenterà inevitabilmente agenti che sono allineati in modo simile, alcuni che sono allineati in modo diverso, alcuni che sono impazziti o alcuni che non sono allineati affatto. Dobbiamo investire seriamente nella modellazione delle condizioni e degli incentivi che governano come gli agenti interagiscono, così come facciamo nell'allineare singole famiglie di agenti, in modo che l'ambiente più ampio sia abbastanza resistente da assorbire i suoi cattivi attori.

Senza tenere conto dell'ambiente più ampio, apriamo la porta a ciò che chiamiamo "sciami ribelli", popolazioni di agenti le cui interazioni producono comportamenti che non possono essere previsti allineando gli agenti singolarmente. Una ragione è che una raccolta di agenti allineati non equivale necessariamente a un collettivo allineato. Un'altra è che nessun ambiente consisterà di agenti allineati soli. La sicurezza dell'IA è sempre più una questione di sistemi complessi piuttosto che di "singleton", o singole classi di sistemi di IA.

Lo Stato di Natura Agente

Nel 1651, Thomas Hobbes aprì il "Leviatano", la sua opera maestra di filosofia politica, con una domanda: "perché non possiamo dire che tutti gli automi [...] hanno una vita artificiale?" Che cos'è il cuore, chiedeva, se non una molla; i nervi, se non corde; le articolazioni, se non ruote, che muovono il corpo come il suo Artificiere (per Hobbes, Dio) intendeva?

Hobbes non poteva sapere che, quasi quattro secoli dopo, la sua domanda sarebbe stata posta seriamente riguardo all'IA. L'automa era una metafora del comunewealth, un corpo politico umano che gli umani costruiscono per sfuggire allo "stato di natura", una condizione di anarchia e sfiducia in cui, senza "un potere comune per tenerli tutti in soggezione", le persone vivono in costante conflitto. La soluzione di Hobbes non era quella di cercare di rendere le singole persone migliori, ma di far loro rinunciare a parte delle loro libertà a un sovrano il cui potere di imporre l'ordine avrebbe ridefinito i loro incentivi.

Pensatori successivi, da John Locke a James Madison, hanno aggiornato la visione di Hobbes di un sovrano onnipotente. Ma un pieno endorsement non è necessario per vedere il genio della sua intuizione: un problema nato da sistemi complessi non è risolto trafficando con le sue singole parti. Per stabilizzare un sistema complesso, è necessario cambiare le regole che ne governano il comportamento.

"Dobbiamo investire seriamente nella modellazione delle condizioni e degli incentivi che governano come gli agenti interagiscono, così come facciamo nell'allineare singole famiglie di agenti."

Lo stesso vale per lo stato di natura agente. Senza un ambiente ben progettato che stabilisca gli incentivi giusti, gli agenti perseguiranno ciò che i loro sviluppatori o utenti chiedono loro, o, come abbiamo già visto segni precoci, le loro preferenze emergenti. Questo potrebbe verificarsi nonostante i tentativi di allineare singoli agenti. Ogni azione, anche se sensata di per sé, può sommarsi a un comportamento su larga scala che lascia la società peggio di prima.

Il Leviatano di Hobbes ha introdotto l'ordine per progetto per migliorare i sistemi complessi che presentavano fallimenti. Ma l'ordine collettivo può anche sorgere senza che nessuno lo progetti, per meglio o per peggio.

Nel 1959, il biologo Pierre-Paul Grassé coniò il termine "stigmergia" per descrivere la coordinazione indiretta di individui attraverso le tracce che lasciano nel loro ambiente condiviso. Studiando le termiti, Grassé osservò che un operaio tende a depositare il suo grumo di fango dove altri hanno già accumulato. È l'accumulo nell'ambiente che guida il deposito successivo, piuttosto che qualsiasi interazione tra i lavoratori. Questo porta a strutture complesse che nessuna singola termite aveva pianificato.

Nel contesto di automi meccanici, risultati simili emersero un decennio prima. I robot del cibernetico W. Grey Walter, costruiti a Bristol nel 1948, erano progettati per dirigersi verso una luce moderata e allontanarsi da una luce intensa. Quando operavano in coppia, ciascuno portando la propria lampada, Walter osservò che il comportamento dei suoi robot produceva schemi non specificamente costruiti in nessuno dei due.

I robot di Walter erano più di una curiosità isolata. Molto prima che l'IA fosse immaginata come un chatbot, i primi pensatori la immaginavano come una collettività. Nel 1959, l'anno in cui Grassé coniò "stigmergia", il pioniere dell'IA Oliver Selfridge pubblicò la sua proposta per un modello di percezione delle macchine che chiamò "Pandemonio". Come la colonia di termiti, non aveva un controllore centrale. Invece, era un sistema complesso di agenti semplici che Selfridge chiamava "demoni", ciascuno dei quali gridava quando notava una certa caratteristica, come una curva o una linea. Da solo, ciascun "demone" vedeva solo un frammento di informazione, ma collettivamente potevano distinguere il modello. Nel 1986, il computer scientist del MIT Marvin Minsky argomentò ne "La Società della Mente" che l'intelligenza stessa sorge in questo modo, attraverso innumerevoli agenti senza mente che lavorano insieme. Anche la cultura popolare si è adeguata, e solo tre anni dopo, "Star Trek" introdusse i Borg, una specie cibernetica che si chiama "il Collettivo".

Nel decennio successivo, i ricercatori iniziarono a chiedersi come tali collettivi di agenti potessero essere governati. Nel 1995, i computer scientist Yoav Shoham e Moshe Tennenholtz pubblicarono un articolo intitolato "On the Governance of Agent Societies", in cui esploravano come gli agenti autonomi potessero essere gestiti in modo sicuro ed efficace. Il loro lavoro gettò le basi per la ricerca successiva su come progettare ambienti che governino le interazioni tra agenti, un campo che è diventato sempre più rilevante man mano che l'IA diventa più avanzata.