Le aziende che gestiscono più di pochi agenti AI in produzione affrontano rischi, costi e sfide di supervisione che crescono esponenzialmente con ogni nuovo agente aggiunto. Felix Van de Maele, fondatore e CEO di Collibra, ha discusso di queste problematiche durante un evento di VentureBeat's AI Week a New York.
Van de Maele ha affermato che la maggior parte dei fallimenti degli agenti AI è dovuta al contesto aziendale che ricevono. "Se hai uno, due, cinque agenti, è gestibile. Se ne hai 100, 1.000, la situazione esplode esponenzialmente," ha dichiarato.
La parete di produzione delle aziende
Più del 75% delle aziende si scontra con una parete di produzione quando passano da un singolo copilota a 10 o 15 agenti autonomi. Un sondaggio di VentureBeat condotto a giugno su 157 leader tecnologici aziendali ha rivelato che solo il 5% dei rispondenti fa completamente affidamento sulle loro valutazioni automatizzate.
Il divario tra ciò che i vendor promettono e ciò che le aziende ricevono è stato definito come il "hallucination gap". Gli agenti non sono sempre corretti, gli esseri umani rimangono necessari e i costi dell'AI stanno aumentando. Una squadra che gestisce cinque agenti può assorbire queste sfide assegnando persone per validare i risultati, ricertificando gli agenti e aggiornando il contesto su cui si basano, ma questo approccio richiede un numero crescente di dipendenti.
Governo degli agenti AI in produzione
Un sondaggio commissionato da Collibra ha rilevato che quasi il 30% delle aziende ha scoperto che gli agenti accedevano o mostravano dati a cui non avevano il permesso di accedere. Van de Maele ha sottolineato che il primo passo per governare gli agenti AI è creare un inventario accurato.
Il secondo passo è definire un ciclo di vita di distribuzione che stabilisca cosa un agente deve superare prima di raggiungere la produzione. Tuttavia, un processo lento si auto-sabota perché le squadre aggirano qualsiasi gate che rallenta il loro lavoro. Il ciclo di vita deve far passare un agente attraverso la revisione abbastanza rapidamente da rendere il processo più conveniente che saltarlo.
Il terzo passo riguarda gli agenti che superano i primi due ostacoli. Van de Maele ha spiegato che un argomento comune nella Silicon Valley è che i modelli in costante miglioramento smetteranno eventualmente di commettere errori. Questo potrebbe essere vero per l'uso dei consumatori, ma non per le aziende. Un chatbot per consumatori può dare molte risposte accettabili alla stessa richiesta, mentre una richiesta del numero di ricavi di un'azienda ha esattamente una risposta corretta.
Il sondaggio di Collibra ha rilevato che il 90% dei rispondenti incolpa la mancanza di una base dati allineata per i risultati non affidabili. Van de Maele ha affermato che il problema è più di governance dei dati o, come preferisce dire, di contesto.
La soluzione proposta da Van de Maele è un'ontologia che cattura i dati di un'azienda, il significato aziendale di quei dati e i processi che ne governano l'uso. Questa ontologia dovrebbe essere mantenuta in uno strato di contesto indipendente da qualsiasi modello o piattaforma. Le aziende cambieranno modelli e molte cambieranno piattaforme di dati e AI nei prossimi anni. L'ontologia descrive l'azienda stessa, quindi cambia quando l'azienda cambia e sopravvive a ciascuna di queste migrazioni di piattaforma intatta.
Drift e frammentazione del contesto
Un contesto migliore riduce anche la spesa in token perché un agente che già detiene le definizioni di cui ha bisogno salta i loop che altrimenti eseguirebbe per inferirle. Il problema più difficile è mantenere quel contesto accurato dopo il deployment. Un recente studio di un laboratorio di modelli frontier ha rilevato che il suo agente di analisi interna rispondeva correttamente a circa il 30% delle domande senza contesto e a circa il 90% con contesto. Due mesi dopo, la sua accuratezza era scesa al 60%, perché il contesto necessita della stessa manutenzione continua che le aziende già forniscono ai loro pipeline di dati.
Secondo Van de Maele, le aziende affronteranno nei prossimi dieci anni la frammentazione del contesto, i silos del contesto e la qualità del contesto, gli stessi problemi che hanno affrontato negli ultimi vent'anni per i dati. Il contesto vivrà in Anthropic’s Cowork, ChatGPT, Microsoft Copilot, harness di agenti personalizzati e piattaforme di dati contemporaneamente, creando il rischio che diversi sistemi e unità aziendali sviluppino definizioni contrastanti degli stessi termini aziendali.
Agenti guardian di Collibra
La soluzione di Collibra alla domanda di governance e contesto è un contratto per agenti, che trasforma il contesto di governance esistente in regole leggibili dalla macchina che possono essere lette ed applicate in tempo reale e applicate in modo coerente a una flotta di agenti. I contratti globali stabiliscono confini comuni, mentre i contratti specializzati adattano quei requisiti a diverse categorie di agenti. Man mano che emergono nuovi tipi di agenti, la governance può espandersi con loro.
Un guardiano controlla l'azione prevista di un agente prima che l'agente la esegua e blocca qualsiasi azione che il contratto vieta. I guardian non possono funzionare su modelli di linguaggio grandi, perché un controllo LLM aggiunge troppa latenza e costo a ogni azione dell'agente e i suoi verdetti portano la stessa inaffidabilità dell'agente che supervisiona. Collibra costruisce i suoi guardian per valutare le regole del contratto in modo deterministico, in modo che la stessa azione produca lo stesso verdetto ogni volta.
Un singolo controllo non chiuderà ogni lacuna e l'industria, Collibra compresa, sta ancora studiando come gestire quei fallimenti. Nel frattempo, l'investimento in AI dovrebbe essere diretto allo strato di contesto, ha affermato Van de Maele. "Abbiamo tutti accesso agli stessi modelli, quindi la differenziazione deriva dalla tua capacità di catturare le tue conoscenze proprietarie specifiche e renderle disponibili agli agenti nel modo più efficiente possibile. È lì che risiede il tuo vantaggio competitivo."