Una soluzione open source per la valutazione coerente degli agenti IA
Il 11 novembre 2026 AWS ha pubblicato una presentazione tecnica dell’Universal Agent Evaluation Framework (UAEF), un sistema open source rilasciato sotto licenza Apache‑2.0. UAEF consente di valutare gli agenti di intelligenza artificiale mediante 36 metriche integrate, raggruppate in sette dimensioni: chiamate a strumenti, qualità delle risposte, IA responsabile, performance, conversazioni multi‑turno, coordinazione multi‑agente e ragionamento.
Il progetto nasce dalla necessità di garantire la comparabilità delle valutazioni tra i principali framework di sviluppo di agenti – LangGraph, LangChain, Strands Agents e Amazon Bedrock AgentCore. Ogni framework registra in modo diverso messaggi, chiamate a strumenti e trasferimenti tra agenti; di conseguenza, il codice di valutazione associato a un formato specifico può richiedere nuove metriche, logiche di punteggio e modalità di archiviazione dei risultati quando il framework cambia.
Questa frammentazione rende difficile capire se una modifica al prompt, al modello o agli strumenti abbia effettivamente migliorato l’agente. UAEF risolve il problema normalizzando le tracce di esecuzione in un formato canonico comune.
Architettura e componenti principali
Tracce canoniche e adattatori
Gli adattatori di UAEF convertono i messaggi, le chiamate a strumenti e i trasferimenti di ciascun agente in un formato standard, chiamato AgentTrace. Questo è l’unico formato riconosciuto dal motore di valutazione, garantendo una valutazione uniforme indipendentemente dal framework di origine.
Le tracce possono essere generate da:
- un’esecuzione precedente memorizzata in log o sistemi di osservabilità,
- l’invocazione di un agente tramite nome di risorsa Amazon o endpoint HTTP,
- un adattatore JSON generico che estende il supporto a framework personalizzati.
Il repository awslabs/uaef contiene la libreria Python, gli adattatori per i diversi framework, le metriche, l’infrastruttura di deployment AWS, l’interfaccia web e notebook pronti all’uso.
Catalogo delle metriche
Le metriche integrate sono suddivise in categorie precise:
- Chiamate a strumenti: verifica di tool richiesti, ordine e argomenti.
- Qualità delle risposte: rilevanza, correttezza, completezza.
- IA responsabile: sicurezza, bias, rispetto delle policy.
- Performance: tempo di latenza, utilizzo delle risorse.
- Conversazioni multi‑turno: coerenza e mantenimento del contesto.
- Coordinazione multi‑agente: sinergia e scambio di informazioni.
- Ragionamento: capacità logica e deduttiva.
Ogni metrica è normalizzata su una scala da 0 a 1, dove 1 indica il risultato migliore. Le metriche deterministiche si calcolano direttamente dalle tracce e dalla “ground truth”, mentre quelle basate su LLM utilizzano un modello su Amazon Bedrock per valutare qualità come pertinenza e sicurezza.
UAEF supporta inoltre metriche personalizzate e integrazioni con RAGAS e DeepEval, offrendo flessibilità per scenari specifici.
Gestione dei dati e dei risultati
Memorizzazione e tracciamento delle esperienze
Le valutazioni non sono semplici risultati isolati, ma diventano esperienze registrate per analisi future. Amazon DynamoDB conserva le metadati essenziali – numero di valutazioni, punteggi medi, configurazione dell’esecuzione – mentre Amazon S3 archivia i risultati completi in formato JSON, includendo punteggi per metrica e il ragionamento del giudice.
Per ogni esecuzione vengono salvati:
- il framework utilizzato,
- il modello di base,
- gli strumenti impiegati,
- il prompt di sistema,
- i parametri di configurazione,
- uno snapshot della configurazione e il commit Git corrispondente.
Questo collegamento permette di attribuire ogni punteggio a una specifica versione dell’agente, facilitando il debug e la governance.
Confronto e identificazione di regressioni
Il motore di confronto analizza le metriche comuni a due esecuzioni, calcolando variazioni assolute e percentuali rispetto a una baseline. Un soglia configurabile, impostata di default al 5 %, distingue miglioramenti, regressioni e risultati invariati. Le regressioni sono classificate in tre livelli – minore, moderata, grave – e raggruppate per dimensione, così da evidenziare, ad esempio, se una modifica al prompt ha influenzato le chiamate a strumenti senza alterare la qualità delle risposte.
I report separano statistiche riproducibili dalle interpretazioni generate da un modello. L’interfaccia web mostra i risultati per caso di test e per dimensione; un report statistico opzionale fornisce distribuzioni di punteggio, intervalli di confidenza, outlier, correlazioni tra metriche e casi di test falliti, tutto senza ricorrere a LLM.
Un’analisi aggiuntiva, prodotta da Bedrock, suggerisce cause radice e passaggi successivi, ordinati per priorità, sia per singola esecuzione sia per confronto.
Utilizzo pratico e dipendenze
Installazione e requisiti
Il guida d’installazione richiede Python 3.10 o superiore e il gestore di pacchetti uv. Sono necessari credenziali AWS per accedere a Bedrock (giudice LLM) e per persistere dati in DynamoDB e S3. Di conseguenza, le funzioni di valutazione e archiviazione mantengono una dipendenza diretta dai servizi AWS, anche quando gli agenti stessi sono sviluppati su framework diversi.
UAEF tratta le uscite degli agenti valutati come input non affidabile per i prompt destinati al giudice. La griglia di valutazione viene trasmessa separatamente, il contenuto è opportunamente escaped e il giudice restituisce un estratto testuale verificabile prima di accettare un punteggio.
Isolamento multi‑tenant
Il repository descrive UAEF come un’architettura di riferimento da eseguire in un ambiente che garantisca l’isolamento dei tenant. Il deployment in un contesto condiviso, senza i controlli di isolamento della piattaforma host, non è supportato. Ogni tenant deve disporre di:
- un proprio account AWS o almeno una propria stack,
- tabelle DynamoDB dedicate,
- bucket S3 separati,
- un gruppo di utenti Cognito indipendente.
Questa separazione è fondamentale per evitare interferenze nei dati di valutazione e per rispettare le normative sulla privacy.
Esperienze dei primi utilizzatori
Finora dodici organizzazioni operanti nei settori delle telecomunicazioni, della sanità e dei servizi finanziari hanno sperimentato UAEF per applicare metriche coerenti e confrontare versioni di agenti prima del rilascio in produzione. Grazie alla possibilità di valutare set di dati parzialmente annotati e traffico di produzione non annotato, le aziende hanno potuto ottenere insight utili senza dover forzare la completa etichettatura dei dati.
Le valutazioni hanno evidenziato regressioni nascoste in scenari complessi, ad esempio diminuzioni di performance quando venivano introdotti nuovi tool senza aggiornare i prompt di coordinamento. Grazie al sistema di soglia e classificazione delle regressioni, i team hanno potuto intervenire rapidamente, riducendo il tempo medio di risoluzione da settimane a pochi giorni.
Conclusioni e prospettive future
UAEF fornisce un riferimento stabile per la valutazione di agenti IA, capace di resistere a cambiamenti di prompt, modello, strumenti o implementazione. Tuttavia, l’efficacia del framework dipende non solo dall’installazione della libreria, ma anche dalla definizione di dataset di benchmark adeguati e da un’architettura di isolamento adeguata per i tenant.
Con la crescita dell’ecosistema degli agenti e l’aumento delle richieste di governance responsabile, UAEF rappresenta un passo cruciale verso una valutazione più trasparente, comparabile e scalabile. La community open source potrà contribuire con nuove metriche, adattatori e integrazioni, consolidando ulteriormente la posizione di AWS come facilitatore di best practice nell’IA generativa.