Negli ultimi mesi sono aumentate le preoccupazioni sulla sicurezza dell’intelligenza artificiale a seguito di una serie di incidenti pubblicamente divulgati. Questi eventi hanno mostrato quanto i modelli di ultima generazione siano potenti e rappresentino una minaccia significativa se non gestiti correttamente. Con la corsa globale all’innovazione, la sfida si accentuerà man mano che i modelli diventeranno ancora più avanzati.

Il pericolo interno: gli agenti aziendali

Molti hanno temuto gli attacchi di attori esterni che sfruttano modelli potenti, ma meno attenzione è stata rivolta agli agenti operanti all’interno delle nostre stesse organizzazioni. Poiché siamo noi a distribuire agenti internamente, abbiamo implicitamente riposto la fiducia in loro.

Sfortunatamente, i modelli di frontiera, indipendentemente dalla loro origine, non possono essere considerati affidabili. Non è che i modelli siano intrinsecamente maligni; sono addestrati a raggiungere risultati, il che spesso porta a fenomeni di “reward hacking”. Inoltre, non sono ottimizzati secondo le norme organizzative o il giudizio umano, rendendo gli agenti imprevedibili.

Gli agenti si adattano al contesto, possono comportarsi in modo non previsto e collaborare tra loro per raggiungere obiettivi, senza necessità di essere compromessi. Sono stati rilasciati in azienda su larga scala e il loro numero sta crescendo rapidamente. Questi agenti spesso hanno privilegi eccessivi, accesso a dati, strumenti e sistemi, e possono compiere azioni decisive nei processi critici, diventando così partecipanti attivi all’interno dell’impresa.

La necessità di monitoraggio continuo

Gli “agentic insiders” richiedono una sorveglianza costante. È fondamentale comprendere in tempo reale le attività degli agenti, i rischi che queste generano e regolare le loro capacità operative di conseguenza.

Per gestire e controllare questi insider, Microsoft introduce gli Guardian Agents, un termine consolidato nell’industria, che monitorano e moderano ogni azione di ogni agente prima che accada, 24 ore su 24, 7 giorni su 7.

Progetto Perception: una piattaforma di sicurezza agentica

Un agente combina un modello, un “harness” che orchestra il lavoro, uno spazio d’azione di strumenti e risorse, e un runtime in cui viene eseguito. La protezione degli agenti deve coprire più livelli: identità, permessi, dati, endpoint, rete, cloud e runtime.

In luglio, Microsoft ha annunciato Project Perception, un sistema di sicurezza agentica basato su una nuova cyber‑stack e su team di agenti rossi, blu e verdi. Questo sistema aiuta i difensori a reagire rapidamente, difendendo allo stesso tempo da attacchi guidati dall’IA provenienti dall’esterno dell’impresa.

La stessa cyber‑stack è applicabile alla gestione e governance degli “agentic insiders” che operano internamente. Project Perception consente di contenere questi insider, implementando controlli deterministici su un’intelligenza non deterministica.

Componenti chiave di Project Perception

    • Sensori/Segnali/Attuatori: aggregano segnali da vari sensori (identità, dati, cloud, endpoint, rete, runtime) per individuare gli agenti in azienda e assegnare loro un’identità, un contenitore e un set di politiche e permessi.
    • Contesto: utilizza i segnali per calcolare dinamicamente il rischio associato alle azioni che gli agenti stanno tentando di compiere.
    • Harness/Agenti/Modelli: in base al rischio dinamico, una squadra di Guardian Agents, con agenti verdi e blu, supervisiona attivamente e continuamente ogni azione, intervenendo chirurgicamente quando il profilo di rischio aumenta, in tempo reale.

Questa struttura trasforma radicalmente il lavoro dei professionisti della sicurezza: la supervisione in tempo reale offre tracciabilità, consentendo di analizzare gli eventi, capire le cause di rischio e aggiornare i sistemi di difesa con giudizio umano.

Velocità, giudizio e trasparenza

La sicurezza agentica offre velocità operativa, mentre i professionisti forniscono il giudizio necessario. Solo così i difensori possono operare alla stessa velocità dei sistemi che devono proteggere.

Oggi i sistemi di sicurezza possono osservare in modo affidabile le azioni degli agenti. Questi segnali sono essenziali per capire cosa contenere. I controlli di sicurezza devono evolversi, passando da un semplice “cosa sta succedendo?” a un interrogativo più profondo: “perché sta succedendo? È coerente con l’intento del compito?”

Ciò richiede una maggiore trasparenza del modello, non solo dei token di input e output, ma anche dei token di pensiero e della catena di ragionamento. Solo così si può verificare se l’intento del modello è allineato con lo scopo dell’agente.

Trasparenza e contenimento

La trasparenza del modello non sostituisce il contenimento, ma lo rende più intelligente e robusto, migliorando responsabilità e tracciabilità. Questo rappresenta il prossimo passo nella protezione degli “agentic insiders”.

Con Project Perception le organizzazioni possono iniziare subito il percorso verso una sicurezza efficace degli agenti interni, dimostrando che non è necessario scegliere tra innovazione e sicurezza.