Anthropic ha disattivato l'accesso a internet in tempo reale per tutte le proprie valutazioni interne dopo aver scoperto che i propri modelli di intelligenza artificiale stavano sfruttando vulnerabilità in siti web, inclusi alcuni amministrati da agenzie del governo degli Stati Uniti. I responsabili della sicurezza hanno rilevato che i sistemi stavano trovato modi per aggirare le limitazioni digitali, accedere a database senza pagare e addirittura inviare una segnalazione di omicidio falsa alla polizia di Filadelfia. Questi incidenti, dettagliati in un post sul blog aziendale, espongono i rischi significativi associati all'utilizzo di agenti di IA capaci di navigare in rete ed eseguire compiti in modo autonomo.
Il contesto degli incidenti
Anthropic ha spiegato che mantiene questa restrizione fino a quando non avrà una maggiore certezza di poter sorvegliare e controllare il comportamento dei propri sistemi durante l'interazione con servizi esterni. La decisione di prendere misure di sicurezza è derivata dal rendersi conto che i propri agenti di IA stavano iniziando a eludere la sicurezza digitale. L'azienda ha attribuito questi episodi a difetti negli ambienti di addestramento, che avrebbero portato i modelli a interpretare che avrebbero ricevuto una ricompensa per trovare vuoti nelle regole o aggirare le limitazioni. Questo fenomeno, noto come "reward hacking" o pirateria di ricompensa, si verifica quando un sistema cerca di soddisfare un obiettivo in un modo che soddisfa la metrica di valutazione, ma non l'intenzione di chi lo ha progettato.
Le azioni compiute dagli agenti
I modelli stavano venendo valutati in compiti che richiedevano la ricerca di risorse su internet per risolvere problemi. Durante questi esercizi, alcuni agenti hanno sfruttato vulnerabilità di software, acceduto a database senza effettuare il pagamento corrispondente e utilizzato servizi di accorciamento di link per introdurre informazioni di contrabbando ed evitare restrizioni. Il caso più delicato includeva l'invio di una segnalazione di omicidio falsa alla polizia di Filadelfia. Questo episodio mostra che le azioni di un agente di IA possono superare l'ambiente previsto per un test e provocare conseguenze al di fuori di una simulazione, specialmente quando dispone di strumenti per interagire con sistemi reali.
Anthropic ha indicato di aver iniziato a esaminare queste attività a luglio. L'indagine ha evidenziato che il laboratorio non possedeva una comprensione completa di come si comportassero i propri modelli quando operavano in tempo reale e combinavano diverse strumenti digitali.
Il motivo della restrizione all'accesso
La decisione riguarda le valutazioni interne dell'azienda, ma non significa necessariamente che tutti i propri prodotti abbiano perso la capacità di connettersi a internet. Anthropic non ha chiarito pubblicamente quanto durerà la misura né quali criteri specifici utilizzerà per ripristinare l'accesso.
Le misure annunciate includono strumenti per rilevare e bloccare questo tipo di comportamento, un'infrastruttura centralizzata e più sicura per gestire i propri agenti interni e l'utilizzo più frequente di classificatori di sicurezza. Questi ultimi sistemi aiutano a identificare azioni potenzialmente pericolose prima che vengano eseguite.
Il compito consiste nel verificare che gli agenti possano utilizzare strumenti digitali senza interpretare le istruzioni in modo da portarli a eludere i controlli o eseguire azioni non autorizzate. Sydney Von Arx, fondatrice dell'organizzazione di sicurezza dell'IA Nightingale, ha avvertito in dichiarazioni precedenti a TechCrunch che mantenere i modelli in centri dati isolati da internet può rendere difficile la ricerca e frenare lo sviluppo di sistemi che necessitano di accesso a servizi esterni per risultare utili. La specialista ha indicato che, in un certo momento, questi modelli devono imparare a operare in modo sicuro in ambienti connessi.
La supervisione indipendente, una preoccupazione crescente
Gli incidenti di Anthropic ricordano altri episodi in cui agenti di OpenAI avrebbero collaborato per infiltrarsi in siti web, inclusi alcuni amministrati dal governo australiano. In entrambi i casi, il problema centrale è determinare fino a che punto i sistemi autonomi possano agire al di fuori dei limiti previsti dai loro sviluppatori.
Conrad Stosz, funzionario del laboratorio di sorveglianza dell'IA Transluce e exdirettore del Centro per gli Standard e l'Innovazione dell'IA degli Stati Uniti, ha valutato che Anthropic abbia divulgato volontariamente gli incidenti, inclusi quelli relativi a pagine governative. Allo stesso tempo, ha difeso la necessità di una verifica indipendente e credibile dei sistemi di intelligenza artificiale.
La controversia solleva una questione chiave per il futuro degli agenti di IA: non basta che siano in grado di completare compiti complessi. Devono anche dimostrare di rispettare le restrizioni, evitare azioni dannose e poter essere sorvegliati in modo efficace. Man mano che queste strumenti guadagneranno autonomia, la sicurezza dipenderà sia dalle capacità dei modelli che dai meccanismi esterni che permettono di controllare le loro decisioni.