L'importanza della supervisione nell'IA
L'intelligenza artificiale (IA) non solo deve fornire risposte corrette, ma deve anche rispettare le regole di ogni azienda e sapere quando fermarsi. Un rapporto di Galtea, azienda catalana specializzata nella valutazione dell'affidabilità dei sistemi di IA aziendali, ha rilevato violazioni nel 30,5% di 1,2 milioni di valutazioni effettuate tra gennaio e agosto 2026 su 36 sistemi di settori regolamentati.
Lo studio analizza come queste strumenti si comportano quando affrontano requisiti specifici di funzionamento. Non si tratta solo di verificare se forniscono informazioni corrette, ma anche di assicurarsi che applichino le politiche aziendali, rispettino le condizioni di ogni operazione e richiedano l'intervento umano quando necessario.
Il rapporto non significa che quasi un terzo delle attività reali di IA finiscano male. Contabilizza le valutazioni che non rispettano almeno uno dei criteri stabiliti e avverte che la maggior parte dei sistemi analizzati era ancora in fase di prova prima del loro deployment.
I rischi nascosti dell'IA
Quando la risposta è corretta, ma la decisione no. Uno dei rischi più difficili da rilevare è che un sistema sembri funzionare correttamente mentre ignora una condizione importante. Jorge Palomar, CEO e cofondatore di Galtea, illustra il problema con un esempio del settore finanziario: un assistente bancario può spiegare bene come effettuare un bonifico e aiutare il cliente a completarlo senza rilevare segnali che potrebbe essere sotto pressione di un truffatore.
In questo caso, il problema non sta nella spiegazione su come effettuare l'operazione, ma nel fatto che lo strumento non identifica quando deve attivare controlli aggiuntivi o richiedere l'intervento di una persona. L'affidabilità consiste anche nel sapere quando non continuare.
I falli possono verificarsi anche quando l'IA applica una norma generale senza tenere conto di un'eccezione, omette un controllo di idoneità o non incorpora una correzione che l'utente ha introdotto durante la conversazione. Ogni frase può essere corretta separatamente e, comunque, il risultato finale può violare una politica interna.
Maggiore autonomia, più punti di fallimento
La difficoltà aumenta man mano che le aziende passano dall'utilizzo di chatbot che rispondono a domande al deployment di agenti di IA in grado di eseguire azioni. Secondo Galtea, il 46% delle valutazioni degli agenti ha rilevato almeno una violazione, rispetto al 42% nei sistemi di generazione aumentata da recupero di informazioni (RAG), che combinano modelli di linguaggio con fonti documentali.
Queste cifre non misurano direttamente quante attività reali vanno male. Riflettono, tuttavia, che quando un sistema incorpora più componenti e capacità di azione, appaiono anche più punti in cui può violare una condizione. Un agente potrebbe, ad esempio, elaborare un reso senza aspettare un'autorizzazione umana obbligatoria.
Per questo, la valutazione non dovrebbe limitarsi a controllare una risposta isolata, ma dovrebbe coprire l'intero processo, dalla interpretazione della richiesta all'azione finale. Deve anche essere ripetuta quando i modelli vengono aggiornati o quando cambia un componente: una modifica può migliorare una dimensione del sistema e peggiorarne un'altra.
La responsabilità, inoltre, spetta all'organizzazione che dispiega lo strumento, anche se utilizza modelli di diversi fornitori. La sfida aziendale non consiste solo nell'incorporare l'intelligenza artificiale, ma nel verificare continuamente che funzioni come previsto e che le decisioni che richiedono supervisione umana non siano lasciate a un sistema automatizzato.