Che cos’è il benchmark MKA e perché è importante

Il Multimodal Knowledge Agent (MKA) è un nuovo benchmark ideato da Google DeepMind in collaborazione con Artificial Analysis per misurare le capacità degli agenti di intelligenza artificiale in contesti professionali reali. A differenza dei tradizionali test di conoscenza o di programmazione, MKA richiede agli agenti di interpretare documenti visivi complessi – planimetrie, scansioni cliniche, schemi tecnici, tabelle e report aziendali – e di produrre output utilizzabili, come presentazioni, fogli di calcolo, documenti PDF o immagini annotate.

Le 200 attività test sono suddivise in dieci settori professionali (software e dati, ingegneria, logistica e cartografia, business e finanza, diritto, pubblica amministrazione, istruzione, costruzioni, scienze e sanità) e includono materiali di partenza estremamente vari, dal disegno architettonico alla mappa topografica, fino alle scansioni di immagini mediche.

Ogni task è valutato attraverso una griglia di circa 70 criteri ponderati, suddivisi in due gruppi: “Regression” (criteri di base) e “Climb” (criteri più difficili). Il punteggio principale, Climb Weighted Satisfaction Rate (Climb WSR), indica la percentuale ponderata dei requisiti più complessi soddisfatti dal modello.

Metodo di valutazione

    • L’ambiente di test è Stirrup, una piattaforma agentica open source di Artificial Analysis.
    • Gli agenti possono utilizzare codice, ricerche web, consultazione di pagine online e strumenti per l’analisi di immagini, con un limite di 250 passaggi per attività.
    • Il giudice è GPT‑6 Luna, configurato con livello di ragionamento medio, che applica rubriche create da esperti per assegnare i punteggi.

Risultati principali: performance e costi

Il modello che ha raggiunto il punteggio più alto è Claude Fable 5.2, con un Climb WSR del 57 %. Lo segue a breve distanza Gemini 4 Carbon (54 %) e Claude Opus 5.5 (53 %). La differenza di soli tre punti tra il primo e il secondo posto è significativa soprattutto se si considerano i costi operativi.

Il costo medio per task è stato calcolato in dollari americani:

    • Claude Fable 5.2: 31,97 $ per attività.
    • Gemini 4 Carbon: 6,29 $ per attività (circa un quinto del costo di Claude Fable).
    • GPT‑6.1 Sol: 1,11 $ per attività, con un punteggio entro dieci punti dal leader.

Questi dati mostrano che il modello più “intelligente” non è necessariamente il più conveniente per le imprese, soprattutto quando si gestiscono volumi elevati di task.

Performance settoriale dei modelli

Le classifiche variano notevolmente a seconda del settore:

    • Claude Fable 5.2 domina in software e dati, ingegneria, logistica e cartografia, business e finanza (con Claude Sonnet 5.5 al pari).
    • Claude Opus 5.5 eccelle in istruzione e costruzioni.
    • Gemini 4 Argon è il migliore nelle attività scientifiche.
    • Gemini 4 Carbon guida il settore sanitario.
    • Claude Sonnet 5.5 ottiene i punteggi più alti in diritto e pubblica amministrazione.

La tipologia di output influisce anch’essa sui risultati: Fable 5.2 è leader nella generazione di PDF e documenti Word, mentre i modelli Gemini risultano più forti nella creazione di immagini. DeepSeek V4.1 Flash 1017 eccelle nella produzione di file testuali, ma nessun modello supera il 52 % dei requisiti complessi per documenti Word e file di testo.

Implicazioni per le imprese

Il messaggio chiave di MKA è che la scelta dell’agente AI non può basarsi solo sul punteggio assoluto. Le aziende devono valutare:

    • Accuratezza rispetto ai criteri “Climb”.
    • Costo medio per task, soprattutto in scenari ad alto volume.
    • Velocità e limiti di passaggi (250 passaggi per attività).
    • Sicurezza e conformità, in particolare per dati sensibili come immagini cliniche.
    • Specializzazione settoriale, poiché ogni modello presenta punti di forza diversi.

Per processi ad alto rischio, il controllo umano resta indispensabile, dato che anche il modello migliore soddisfa poco più della metà dei criteri più difficili.

Limiti del benchmark MKA

Nonostante la sua innovazione, MKA presenta alcune criticità:

    • Le 200 attività sono private, limitando la possibilità di verifiche esterne.
    • Il giudice è un modello AI (GPT‑6 Luna), il che introduce potenziali bias nella valutazione.
    • Le differenze di pochi punti potrebbero variare con aggiornamenti dei modelli, cambi di ambiente o strategie di prompting.
    • La collaborazione con Google DeepMind potrebbe influenzare la metodologia, soprattutto per modelli non sviluppati da DeepMind.

Prospettive future

Il benchmark MKA dimostra che i modelli frontier stanno migliorando nella capacità multimodale, ma sono ancora lontani da un’affidabilità uniforme. Il punteggio più alto, 57 % su criteri “Climb”, indica che c’è ancora molto spazio per miglioramenti, soprattutto nella generazione di documenti testuali complessi.

Le prossime iterazioni potrebbero includere:

    • Espansione del dataset con task pubblici per aumentare la trasparenza.
    • Utilizzo di più giudici umani o ibridi per ridurre i bias del modello valutatore.
    • Integrazione di metriche di sicurezza e privacy più stringenti.
    • Test di agenti in ambienti di produzione reale, con feedback continuo.

In conclusione, MKA non fornisce una classifica definitiva, ma una mappa delle capacità multimodali degli agenti AI, evidenziando la necessità di bilanciare performance, costi e specializzazione. Le imprese dovranno quindi adottare un approccio più sfumato, scegliendo il modello o la combinazione di modelli più adatta al proprio workflow, tenendo conto delle specifiche esigenze di settore, del budget disponibile e del livello di supervisione umana richiesto.