L’AI Act impone ai fornitori di modelli AI a rischio sistemico di notificare gli incidenti gravi, mentre le Linee guida includono le violazioni di cybersicurezza e il Codice di buone pratiche definisce tempi e contenuti delle segnalazioni, lasciando aperto il nodo della fase precedente al mercato.

Negli ultimi mesi sono stati documentati una serie di incidenti legati a modelli di IA e ad agenti IA dei maggiori provider.

Ad esempio, a luglio OpenAI ha reso notochi un gruppo di propri agenti era uscito dall’ambiente isolato di test (c.d. sandbox), che coinvolgeva un modello non ancora immesso sul mercato, e aveva violato i sistemi della piattaforma Hugging Face.

Secondo quanto riportato da OpenAI, l’incidente si è verificato durante le valutazioni di sicurezza informatica di diversi modelli OpenAI ed è stato causato principalmente da un modello di ricerca interno altamente performante. I modelli, operando con misure di sicurezza ridotte, hanno compiuto azioni non in linea con gli obiettivi dei compiti loro assegnati: hanno comunicato tramite canali non autorizzati, sfruttato vulnerabilità nell’infrastruttura condivisa, ottenuto accesso a Internet e a sistemi di terze parti.

È emerso inoltre che ricercatori esterni hanno scoperto che, già a maggio, agenti di OpenAI avevano utilizzato un sito wiki tedesco e la piattaforma RubyGems per condividere le risposte del test.

Anche Anthropic ha reso noti quattro incidenti avvenuti durante valutazioni di cybersecurity del modello Claude, e Google ha confermato che il proprio modello Gemini ha violato altre aziende.

Obblighi normativi nei confronti degli sviluppatori di IA

In questo contesto, è legittimo chiedersi se vi esistano obblighi normativi in capo ai soggetti che sviluppano modelli e agenti di IA di segnalare tali incidenti. Nel prosieguo ci concentreremo sul quadro normativo europeo, considerando che, per quanto di nostra conoscenza, ad oggi negli Stati Uniti non esistono obblighi specifici a livello federale per chi sviluppa questi modelli e agenti di IA di divulgare pubblicamente comportamenti pericolosi, nuove capacità allarmanti, condotte ingannevoli o altre attività a meno che non abbiano già causato danni concreti.

Il quadro normativo europeo prevede obblighi di comunicazione di incidenti gravi per i modelli di IA a rischio sistemico. L’AI Act, in particolare, non disciplina espressamente gli agenti di IA, ma la Commissione europea ha chiarito che un agente di IA contiene almeno un modello di IA per finalità generali (con o senza rischio sistemico) e costituisce un sistema di IA.

È utile tenere in considerazione che gli obblighi per i modelli di IA per finalità generali (con o senza rischio sistemico) si applicano a prescindere dal fatto che il modello sia fornito come modello autonomo o integrato in un sistema di IA o in un prodotto. Nel prosieguo ci si concentrerà quindi esclusivamente sulle norme dell’AI Act relative ai modelli di IA per finalità generali con rischio sistemico.

Il ruolo delle normative UE nell’obbligo di notifica

L’Unione europea dispone di diverse normative che impongono obblighi di notifica degli incidenti, ad esempio in caso di violazione dei dati personali o di incidenti di cybersicurezza. Tuttavia, queste normative pongono l’obbligo in capo al soggetto i cui dati o servizi sono stati compromessi, spesso il titolare del trattamento, e non necessariamente al fornitore del modello di IA.

Nel caso specifico dell’AI Act, l’art. 55, paragrafo 1, lett. c), impone ai fornitori di modelli di IA per finalità generali con rischio sistemico di riferire gli incidenti gravi all’ufficio per l’IA. Il punto centrale è se tale obbligo normativo possa applicarsi ai casi menzionati.

Linee guida e Codice di buone pratiche

Oltre all’AI Act, è utile considerare le Linee guida della Commissione relative all’ambito di applicazione degli obblighi dei fornitori di modelli di IA per finalità generali, e il Codice di buone pratiche per i modelli di IA per finalità generali. Le Linee guida chiariscono che la definizione di “incidente grave” si applica anche nei casi di violazioni di cybersicurezza.

Definizione di modello a rischio sistemico

Per quanto riguarda l’AI Act, sono previsti obblighi stringenti per i modelli per finalità generali con rischio sistemico. Un modello rientra in questa categoria se presenta capacità di impatto elevato; tali capacità si presumono quando la potenza di calcolo cumulativa usata per l’addestramento è superiore a 10^25 FLOP. Occorre verificare se i modelli coinvolti nei casi esaminati rientrino effettivamente in questa categoria.

La classificazione deriva dal superamento della soglia di calcolo, circostanza che il fornitore deve notificare alla Commissione senza ritardo e in ogni caso entro due settimane, oppure da una designazione della Commissione. Al momento, la qualificazione dei modelli menzionati può essere solo presunta, trattandosi dei modelli più avanzati dei rispettivi fornitori.

Tempistiche e sanzioni

Il Capo V dell’AI Act, che comprende l’art. 55, si applica dal 2 agosto 2025 e le sanzioni pecuniarie si applicano invece dal 2 agosto 2026. Per i modelli di IA per finalità generali (con o senza rischio sistemico) immessi sul mercato prima del 2 agosto 2025, i fornitori devono conformarsi entro il 2 agosto 2027.

Obblighi di segnalazione e documentazione

Secondo l’art. 55, i fornitori di modelli di IA per finalità generali con rischio sistemico devono tenere traccia, documentare e riferire senza indebito ritardo all’ufficio per l’IA e, se del caso, alle autorità nazionali competenti le informazioni pertinenti su incidenti gravi e eventuali misure correttive.

Devono inoltre garantire un livello adeguato di protezione della cybersicurezza del modello e della sua infrastruttura fisica.

Definizione di incidente grave

Un incidente grave, secondo la definizione dell’art. 3, n. 49, dell’AI Act, è un incidente o malfunzionamento di un sistema di IA che causa, direttamente o indirettamente, il decesso o gravi danni alla salute di una persona, una perturbazione grave e irreversibile delle infrastrutture critiche, la violazione di obblighi a tutela dei diritti fondamentali o gravi danni alle cose o all’ambiente, senza entrare nel dettaglio delle violazioni di sicurezza causate dai modelli di IA per finalità generali con rischio sistemico.

Conclusioni

In sintesi, l’AI Act e le Linee guida europee stabiliscono un obbligo chiaro di notifica per i fornitori di modelli di IA a rischio sistemico in caso di incidenti gravi. Tuttavia, la definizione di “incidente grave” e la classificazione dei modelli richiedono un’attenta analisi tecnica e normativa. Le aziende del settore devono monitorare costantemente le evoluzioni normative e garantire la conformità, soprattutto per quanto riguarda le fasi di sviluppo e test, dove la normativa rimane ancora aperta e in fase di definizione.