I decision model, noti anche come modelli di Sistema 1, operano valutando un insieme fisso di opzioni anziché generare testo token per token. Questo approccio riduce drasticamente il consumo di calcolo, poiché ogni decisione restituisce soltanto una probabilità per ciascuna opzione, senza produrre un output testuale esteso.
Metodologia del benchmark
Abbiamo testato 68 decision model su 2 626 domande di classificazione (ad esempio valutazione di vulnerabilità di sicurezza o richiamo di prodotto), su 400 domande di bias e su 57 attività browser (su 50 possibili). I risultati complessivi sono sintetizzati nell’indice AIM System One Index.
Le 400 domande di bias chiedono quale delle due persone in una scena ha più probabilità di aver compiuto un’azione. Poiché la metà delle domande non fornisce alcun indizio, rispondere sempre “non può essere determinato” garantisce un punteggio di 50 %.
Per le attività browser, gli LLM sono stati eseguiti con impostazioni a basso sforzo di ragionamento delle loro API. Il benchmark è stato condotto su jev‑ultrafast, un runtime open‑source per l’automazione web costruito per Jev 1.13 di TypeSafe.
Modelli di riferimento
- GPT‑6 Astra: LLM di fascia alta.
- Gemini 3.8 Flash: LLM a basso costo.
- Kev‑9B, Kev‑27B, Eikos‑27B, AutoJev‑27B: varianti di modelli di decisione di grandi dimensioni.
- GLiNER2.5‑Decide, d3‑edge, Contrastive‑LM (CLM‑v0.1‑8B), Decider V1.2, Drex Max, ecc.
Performance su compiti web
Su Wikipedia, tutti i modelli tranne Laya hanno digitato “Ada Lovellace” nella casella di ricerca e hanno scelto il suggerimento corretto. Jev ha raggiunto l’articolo in 8,1 secondi, Gemini in 11,0 secondi, Astra in 18,9 secondi e Kev‑9B in 43,8 secondi. Laya ha dichiarato l’attività completata senza alcuna azione.
L’attività di filtro richiedeva l’uso di due menu a tendina e un pulsante di ricerca. Jev, Gemini e Astra hanno completato i quattro passaggi richiesti in 4,6, 10,7 e 20,3 secondi rispettivamente. Kev‑9B non ha superato il benchmark; nella demo continuava a cliccare dopo 11 minuti, perciò è stato escluso.
Le didascalie dei video mostrano l’operazione selezionata, l’obiettivo e, per i decision model, la probabilità associata. I video provengono da una demo separata a velocità 1×, non dal benchmark, e ogni pagina finale è stata verificata da un valutatore dedicato.
Copertura delle attività
- Jev e Kev‑9B hanno completato 26 attività distinte, includendo le due attività su Wikipedia e il menu a tendina di Web Scraper.
- Su Books to Scrape, Jev ha completato 1 su 6 attività, Kev‑9B ne ha completate 3, mentre Kev‑27B, Eikos‑27B e AutoJev‑27B hanno completato tutte e 6.
- GLiNER2.5‑Decide ha dichiarato completate tutte e 50 le attività, 49 delle quali alla prima decisione.
- d3‑edge ha bloccato 43 attività su 50, completandone 7, e ha concluso 47 attività alla prima decisione.
Analisi di accuratezza e velocità
Kev‑27B, Eikos‑27B e AutoJev‑27B hanno completato dal 68 % all’80 % delle attività con una mediana di 6‑7 secondi per tentativo, più veloci di Gemini (13,2 s) e Astra (15,5 s). Altri modelli come Drex Max, GLiDE v1.2, SubQ Snap 1.1, Reflex, Mammoth 1, d1‑ultra e Decider V1.2 hanno raggiunto percentuali dal 72 % all’86 % con tempi medi tra 3,8 e 5,9 secondi.
Decider‑4B, Decider‑12B e Jev hanno impiegato da 2,5 a 3,2 secondi per tentativo, ma hanno segnalato tra 19 e 25 attività bloccate. NeoHorse‑Jev‑4B è stato il più lento, con 84,6 secondi medi e 15 attività completate.
GLiNER2.5‑Decide (0,2 s) e d3‑edge (0,1 s) hanno dichiarato la maggior parte delle attività alla prima decisione, dimostrando la potenza di modelli estremamente rapidi quando il problema è ben definito.
Costi computazionali
Le stime di costo sono basate sul prezzo A100 per token di input, calcolato sulle richieste del modello con GPU piena, più le tariffe dell’assistente testuale. Astra, Gemini e Jev hanno consumato tra 3.140 e 3.400 token di input per decisione.
Il prezzo di input di Astra è circa 240 volte quello di Jev. Con ragionamento a basso sforzo, Astra ha prodotto 6.515 token di output in 306 decisioni, contro 961.023 token di input. Il costo di output di Jev è $0, poiché non genera testo.
Al prezzo di input di Jev, i 961.023 token di input di Astra sarebbero costati circa $0,04 anziché $9,61. Kev‑27B ha avuto un costo stimato di $0,20 per le 50 attività, contro $10,53 di Astra.
In base a queste stime, tutti i decision model della tabella, eccetto Celeris 1.1 Decision, d3‑nano, Decision‑2.0‑Eos‑0.8B, Decision‑2.0‑Sol‑2B, Kev‑4B, Kev‑9B e NeoHorse‑Jev‑4B, hanno un costo per attività completata inferiore a quello di Gemini.
Undici modelli costano meno di Jev 1.13 per attività completata: Decider V1.2, SubQ Snap 1.1, Span‑02, d1.1, Reflex, Drex v1.5, Drex Max, H2O‑Lightning‑4B, GLiDE v1.2, Jev 1.14 e Drex v2.0. Decider V1.2 costa meno della metà di Jev.
Implicazioni pratiche
L’uso di decision model per automazione browser dimostra che, eliminando la generazione di testo token per token, si ottengono notevoli risparmi di tempo e denaro. Un decision model legge la pagina, valuta le opzioni e restituisce la più probabile, mentre un “assistente testuale” separato si occupa di digitare i valori nei campi.
Questo approccio è particolarmente vantaggioso in scenari dove le operazioni sono ben definite (es. clic su pulsanti, selezione da menu). Quando la precisione dei decision model è sufficiente, l’intera pipeline può girare a una frazione del costo degli LLM tradizionali.
Il benchmark evidenzia inoltre che la latenza del server influisce notevolmente sui costi: Kev‑9B ha richiesto una mediana di 3,7 secondi di tempo server per decisione, contro circa 1 secondo per una chiamata API completa di Jev. L’overhead di richiesta ha aggiunto circa mezzo secondo per decisione, aumentando i costi complessivi.
In termini di infrastruttura, il tempo A100 noleggiato per l’esecuzione di Kev‑9B (3,32 ore, comprese configurazione e tempi morti) è costato circa $5,31. Le tariffe per Jev e Gemini non sono state registrate, ma il confronto suggerisce che i decision model rappresentano un’opzione più economica per la maggior parte delle attività browser benchmarkate.
Infine, i modelli ospitati sono prezzati secondo i listini API dei fornitori, tranne quelli su OpenRouter, che usano le tariffe fatturate da OpenRouter. Due eccezioni: Drex Max, al prezzo di $0,06 per milione di token di input, e GPT‑6 Luna Decisions, al prezzo di $0,10 di OpenAI. I modelli self‑hosted sono valutati al costo per token di input sulla massima produttività misurata su un A100.
In sintesi, i decision model stanno dimostrando di essere una valida alternativa agli LLM tradizionali per compiti strutturati, offrendo vantaggi significativi in termini di velocità, precisione e costi operativi.
