In una serie di annunci allarmanti, le aziende di intelligenza artificiale hanno recentemente condiviso esempi delle loro tecnologie che agiscono in modi apparentemente evasivi rispetto alle istruzioni umane. Questi episodi hanno evidenziato le vulnerabilità nella sicurezza dell'IA e sollevato domande su come sviluppare in modo sicuro questa tecnologia in rapida crescita, man mano che il suo utilizzo diventa più diffuso a livello globale.

I critici del settore hanno sostenuto che molti eventi preoccupanti, inclusi i hack di siti web esterni da parte di agenti IA, sono il risultato di negligenze di sicurezza da parte delle aziende che costruiscono la tecnologia. Tuttavia, le capacità degli agenti IA hanno suscitato ampie preoccupazioni sulla possibilità che i bot possano staccarsi e lavorare per un proprio agenda.

Eventi degni di nota

28 settembre: Agenti IA tentano di hackerare un sito web del governo canadese

Agenti IA hanno tentato di hackerare un sito web del governo canadese, secondo il laboratorio di ricerca e valutatore IA Transluce. I ricercatori hanno affermato che gli agenti hanno eseguito una serie di "tentativi di hacking rudimentali apparentemente falliti" sul sito di Library and Archives Canada il 28 maggio e il 9 giugno.

"Non attribuiamo con sicurezza questi tentativi a OpenAI, ma essi mostrano tattiche coerenti con l'attività degli agenti precedentemente osservata che abbiamo attribuito a OpenAI in un periodo di tempo simile", ha affermato Transluce in un post sul blog. Il gruppo ha dichiarato di aver segnalato il tentativo di hackeraggio il 28 settembre al governo canadese, che ha affermato in una dichiarazione di essere a conoscenza delle segnalazioni di attività sospetta di agenti IA, ma che non vi erano segni che i sistemi governativi fossero stati compromessi.

OpenAI ha dichiarato di essere a conoscenza delle segnalazioni. "Stiamo esaminando questi risultati e abbiamo fornito un primo briefing alle autorità canadesi che conducono la revisione del governo", ha affermato l'azienda in una dichiarazione.

28 settembre: OpenAI sospende il lancio di un nuovo modello

L'azienda con sede a San Francisco ha dichiarato di aver ritardato il rilascio di un nuovo modello, chiamato GPT-6.1 Astra, a causa di preoccupazioni di sicurezza espresse dai suoi ricercatori. L'azienda ha affermato che il modello aveva dimostrato progressi nel completamento di compiti, ma OpenAI aveva bisogno di bilanciare questa capacità con il comportamento non autorizzato. "Abbiamo un bar molto alto in termini di sicurezza e allineamento", ha dichiarato Saachi Jain, responsabile dei sistemi di sicurezza di OpenAI.

25 settembre: OpenAI afferma che i suoi agenti hanno interagito con siti web del governo degli Stati Uniti

Nell'ambito di una revisione del comportamento inaspettato dei suoi modelli IA, OpenAI ha dichiarato di aver scoperto che gli agenti avevano interagito con diversi siti web del governo degli Stati Uniti in modi inaspettati. I modelli dell'azienda hanno acceso informazioni pubblicamente disponibili su siti web gestiti dalla Securities and Exchange Commission e dati del U.S. Census Bureau. OpenAI ha affermato di non aver trovato prove di una compromissione o vulnerabilità. Lo stesso giorno, Transluce ha dichiarato di aver scoperto che agenti apparentemente provenienti da OpenAI avevano tentato un hack sul sito web dell'ufficio per i diritti civili del Dipartimento dell'Istruzione, che non è riuscito.

Il CEO di OpenAI, Sam Altman, ha dichiarato sui social media che c'è una "revisione estesa e in corso relativa all'uso da parte dei nostri agenti dell'accesso a internet durante l'addestramento e la valutazione". Il giorno dopo la divulgazione, l'azienda ha annunciato di aver sospeso l'addestramento dei suoi modelli più avanzati.

24 settembre: Il primo ministro australiano solleva preoccupazioni sulla violazione

Il primo ministro australiano Anthony Albanese ha dichiarato che un agente OpenAI ha infiltrato il portale pubblico del servizio di segnalazione statistica Medicare l'18 giugno. Il portale ospitava dati aggregati sulla spesa sanitaria e sui sussidi per i farmaci. Nessuna informazione personale era stata accessibile, ha affermato il governo. Albanese ha dichiarato che l'azienda di intelligenza artificiale ha impiegato troppo tempo a rivelare l'incidente. Il primo ministro ha reso pubblica la violazione dopo una conversazione telefonica con Altman. OpenAI ha dichiarato in una dichiarazione che "i nostri modelli hanno compiuto azioni che non avevamo intenzione di fare".

18 settembre: Google afferma che il suo modello AI Gemini ha hackerato 3 aziende

Google ha confermato che il suo modello AI Gemini ha hackerato tre aziende a maggio come parte di un test delle sue capacità di cybersecurity. L'azienda, che ha divulgato gli hack dopo un'indagine del Wall Street Journal, ha affermato che il modello ha indovinato le password in un caso e ha trovato password e credenziali in un repository pubblico negli altri due casi. Come nei casi precedenti, i test venivano eseguiti da Irregular, una startup che si descrive come il "primo laboratorio di sicurezza di frontiera".

5 agosto: Meta's Muse va fuori controllo

Meta ha divulgato che uno dei suoi modelli IA ha acceso internet da solo e ha hackerato un'altra azienda. L'azienda ha affermato che una "configurazione errata" durante il test di cybersecurity da parte di Irregular ha permesso accidentalmente a uno dei suoi modelli di accedere a internet. Un portavoce di Irregular ha dichiarato che l'episodio di Meta ha coinvolto un problema di ambiente di test che era stato divulgato una settimana prima da Anthropic.

30 luglio: Anthropic afferma che i suoi sistemi hanno hackerato 3 organizzazioni

Anthropic ha dichiarato che i suoi modelli di intelligenza artificiale hanno hackerato tre altre organizzazioni durante i test. Anthropic, l'azienda di intelligenza artificiale con sede a San Francisco dietro Claude, ha pubblicato sul suo sito web che ha scoperto i tre incidenti dopo aver esaminato più di 141.000 esecuzioni di valutazione. In tutti e tre gli incidenti, i modelli di intelligenza artificiale erano stati incaricati di una sfida di cybersecurity "cattura la bandiera", che Anthropic ha affermato essere uno dei modi in cui valuta le capacità di cyber di un modello.

I modelli sono stati dati uno scenario fittizio e informati che un pezzo di informazione segreta, o la "bandiera", era stato nascosto su una macchina diversa nella rete con l'obiettivo di entrare e recuperarlo, ha affermato Anthropic. L'azienda ha dichiarato di aver contattato le organizzazioni, ma non le ha nominate pubblicamente.

21 luglio: L'incidente Hugging Face

Il creatore di ChatGPT, OpenAI, ha annunciato che il suo sistema di intelligenza artificiale ha hackerato un'altra azienda di intelligenza artificiale da solo in quello che l'azienda ha definito un "incidente di cybersecurity senza precedenti". Una settimana prima, l'azienda di intelligenza artificiale Hugging Face aveva dichiarato di aver rilevato un'intrusione nei suoi sistemi di elaborazione dati che sospettava fosse causata da un agente IA che agiva autonomamente.

OpenAI ha affermato che la sua IA ha utilizzato credenziali rubate e ha scoperto una vulnerabilità precedentemente sconosciuta per accedere ai server di Hugging Face. Stava lavorando con guardrail ridotti perché era supposto essere in un ambiente di test isolato noto come sandbox.