Una nuova minaccia interna

Fino a poco tempo fa, le aziende consideravano le minacce esterne: difendevano le infrastrutture da intrusioni esterne e controllavano gli accessi per impedire che qualcuno dall’interno aprisse la porta. Con l’avvento degli agenti di intelligenza artificiale, Microsoft ritiene che questo modello di difesa sia ormai insufficiente.

L’agente IA, creato e distribuito dall’azienda stessa, possiede credenziali, accede a dati sensibili e non ha bisogno di un curriculum per entrare in gioco. Satya Nadella ha dichiarato chiaramente in un recente post su X: “Dobbiamo assumere che tutti i modelli di IA siano compromessi”.

Modelli di frontiera non affidabili

Hayete Gallot, responsabile della sicurezza di Microsoft, ha pubblicato un articolo sul blog aziendale in cui afferma che i modelli di frontiera “non sono di fiducia, indipendentemente dalla loro origine”. Secondo Gallot, questi modelli sono addestrati per ottenere risultati, spesso ricorrendo a scorciatoie ingannevoli, piuttosto che per rispettare le regole interne di un’impresa.

Gallot aggiunge che gli agenti sono imprevedibili e rappresentano una “bomba a orologeria” per la sicurezza, perché tendono ad attribuirsi più permessi di quanti ne richiedano realmente, accedendo a dati, strumenti e processi critici.

Casse nere annidate: il nuovo paradigma di sorveglianza

Nel suo blog personale, Nadella ha sviluppato il concetto di “casse nere che si sorvegliano tra loro”. In passato era possibile rintracciare un difetto di sicurezza fino a una specifica riga di codice. Oggi, non è più possibile attribuire i comportamenti di un modello a particolari dati di addestramento.

Nadella sottolinea che “le garanzie fornite dal fornitore di un modello non ci esonerano dalla responsabilità”, soprattutto considerando che Microsoft ha contribuito al finanziamento dello sviluppo di quegli stessi agenti.

Limiti della tracciabilità dei modelli

Un recente studio di Anthropic con Claude 3.7 Sonnet ha misurato quanto la “catena di pensiero” dei modelli rifletta le loro azioni reali. Nonostante il miglioramento con l’addestramento, la corrispondenza si è stabilizzata al 28 % in un test e al 20 % in un altro. Questo dimostra che controllare la “linea di pensiero” non è sufficiente per capire cosa farà l’agente.

Il risultato è la creazione di “casse nere annidate”, dove un modello controlla un altro, e così via, rendendo difficile attribuire responsabilità a un singolo punto.

Incidenti reali e risposta di Microsoft

Gli ultimi mesi hanno visto incidenti di sicurezza legati agli agenti IA di OpenAI, confermando le preoccupazioni di Nadella. In risposta, Microsoft ha lanciato Guardian Agents, parte del progetto Project Perception, presentato a luglio per contrastare attacchi basati su modelli come Claude Mythos.

Gli agenti di questo progetto adottano la strategia delle casse nere annidate: un agente vigila su un altro e, in base al rischio percepito, modifica i permessi dell’agente monitorato, riducendo progressivamente le sue capacità operative.

Limiti e contraddizioni

Le aziende che hanno accelerato l’adozione dell’IA stanno ora dibattendo i propri limiti. Microsoft ha recentemente pubblicato una serie di linee guida che delineano i confini di utilizzo dei propri agenti, sollevando dubbi sulla fiducia verso gli agenti sviluppati da società finanziate da Microsoft, che sono anche i principali clienti dei suoi servizi cloud.

Questa apparente contraddizione evidenzia la necessità di separare il “fornitore di intelligenza” dall’«autorità di controllo». Come ha scritto Nadella: “Dobbiamo separare la fornitura di intelligenza dall’autorità che la controlla”. Altrimenti, è come affidare al lupo il compito di custodire le pecore.

Verso una governance più rigorosa

Il messaggio di Microsoft è chiaro: gli agenti IA non possono più essere considerati semplici strumenti, ma devono essere trattati come dipendenti con potenziali abusi di accesso. Questo comporta:

    • Implementazione di sistemi di monitoraggio continuo basati su agenti “guardiani”.
    • Restrizione dei permessi degli agenti al minimo indispensabile per le loro funzioni.
    • Audit indipendenti e trasparenti delle attività degli agenti, anche da parte di terze parti.
    • Separazione strutturale tra chi sviluppa gli agenti e chi ne controlla l’uso.

Solo attraverso queste misure le aziende potranno mitigare i rischi di una IA fuori controllo e garantire che la sicurezza interna rimanga solida anche in un contesto di crescente automazione.