Panoramica del benchmark

Il nostro studio ha analizzato 13 framework open‑source per intelligenza artificiale agentica, eseguendo 100 iterazioni per ciascuno dei cinque compiti proposti, per un totale di 6 500 esecuzioni. L’obiettivo era valutare tre metriche chiave: latenza di fine‑a‑fine, consumo di token e differenze architetturali.

Abbiamo inoltre approfondito l’impatto dei framework sul comportamento dell’agente, osservando come le scelte progettuali influiscano su velocità e efficienza.

Metodologia di test

Il benchmark è stato strutturato in tre fasi principali:

    • Misurazione della sovrapposizione di ciascun framework nel chiamare una singola funzione di supporto, senza alcun ragionamento complesso.
    • Valutazione delle capacità di persistenza di stato, verificando la gestione di più gruppi di filtri contemporaneamente.
    • Analisi della precisione nella traduzione di condizioni numeriche in parametri di tool, monitorando eventuali modifiche introdotte dal framework.

Per ciascuna fase sono state registrate latenza, numero di token consumati e eventuali errori o loop di rielaborazione.

Task 1: chiamata singola a uno strumento

In questo test di base, tutti i framework hanno dovuto invocare una sola funzione e restituire il risultato, senza logica aggiuntiva.

LangChain e LangGraph hanno completato la procedura in meno di 5 secondi, consumando meno di 900 token. La macchina a stati di LangGraph non ha introdotto latenza significativa rispetto a LangChain; la differenza si manifesta solo con compiti più complessi.

AutoGen ha mostrato una leggera penalità sia in latenza sia in token, a causa del suo loop di conversazione multi‑agente, che prevede due scambi anche per operazioni monodirezionali.

CrewAI ha evidenziato una “sovraccarico amministrativo” quasi triplo rispetto a LangChain, sia in termini di token che di tempo, dovuto al processo di verifica tra i ruoli Planner e Analyst, che è intrinsecamente intensivo.

Task 2: persistenza e combinazione di filtri

Il secondo compito ha testato la capacità dei framework di mantenere in memoria due gruppi di filtri distinti e combinarli correttamente.

CrewAI ha fornito la massima trasparenza infrastrutturale, ma a costo di un consumo di risorse superiore. Il suo meccanismo di autorivalutazione ha spesso raggiunto il limite di max_iter=10, intrappolando alcune esecuzioni in loop di pensiero senza produrre l’output JSON richiesto.

La radice del problema risiede nell’iniezione di istruzioni multi‑livello nel prompt di sistema, che costringe il modello a seguire un ciclo ReAct (Pensiero → Azione → Osservazione) ad ogni passo, generando monologhi interni prolissi.

In termini di efficienza, LangChain si è dimostrato il più veloce, completando la sequenza di sei passaggi (Carica → Filtra → Calcola → Filtra → Calcola → Output) con latenza minima grazie a una gestione di stato semplificata.

Task 3: traduzione di condizioni numeriche

Il terzo compito mirava a verificare la capacità dei framework di convertire condizioni testuali in parametri numerici precisi per gli strumenti, ad esempio “meno di 1 anno di anzianità” in tenure_max=12.

LangChain e LangGraph hanno trasmesso i parametri al tool senza alcuna modifica, completando il task in meno di 9 secondi e con meno di 1 800 token, i valori più bassi registrati.

AutoGen ha aggiunto un passaggio di verifica prima di inviare i parametri, consumando 2 480 token e 8 secondi, ma mantenendo l’integrità dei dati.

CrewAI ha mostrato i valori più alti (4 360 token, 30 secondi). Sono emersi due pattern di errore: conversione errata di percentuali (es. 68,81 % → 0,6878) e corruzione dei parametri durante i loop di rielaborazione, con modifiche come tenuremax=14 e la rimozione del filtro chargesmin.

Conclusioni comparative

Riassumendo i risultati principali:

    • LangGraph: framework più veloce, latenza più bassa in tutti i compiti.
    • LangChain: maggiore consumo di token ma latenza competitiva; resiliente a errori logici grazie al flusso conversazionale.
    • AutoGen: equilibrio tra velocità e consumo di token; leggero overhead dovuto al ciclo di verifica.
    • CrewAI: profilo più pesante, adatto a scenari di transizione di stato complessa e decisioni multifattoriali, ma inefficiente per task semplici.

La scelta del framework più adatto dipende quindi dal contesto operativo: per operazioni rapide e a basso costo di token, LangGraph è la scelta ideale; per robustezza e gestione degli errori, LangChain offre un buon compromesso; AutoGen può essere considerato quando è necessaria una verifica aggiuntiva; infine, CrewAI è consigliato in ambienti che richiedono una rigorosa autorivalutazione e tracciabilità.