Abacus.AI ha reso pubblici i risultati numerici di tre modelli aperti ottimizzati per agenti. Le variazioni nei punteggi differiscono notevolmente in base alla base e al compito, con un'enfasi dichiarata sulla stabilità in esecuzioni lunghe e la compatibilità di inferenza.

Smaug Agentic: Regolarità Comportamentale

Smaug Agentic presenta una variazione totale del punteggio di +0,3 rispetto alla sua base, ma ha eseguito 113 compiti di codifica agentica in più di sette ore, con una mediana di 78 passaggi di agente per compito. Abacus.AI segnala che non sono stati osservati errori di infrastruttura o ritardi durante queste sequenze. L'accento è posto sul cambiamento comportamentale, in particolare l'eliminazione del ragionamento erratico mantenendo una deliberazione normale. La regolarità durante loop lunghi è privilegiata rispetto all'aumento dei punteggi.

Su Terminal-Bench 2.1, la base di Smaug Agentic supera la versione regolata con 88,3 contro 86,5. Su MMMU-Pro, il divario è leggero ma sempre a favore della base con 81,6 contro 81,0. Questi casi sono esplicitamente menzionati come situazioni in cui l'ottimizzazione non porta a un aumento del punteggio.

Smaug Flash: Velocità ed Efficienza

Smaug Flash è un aggiustamento di DeepSeek V4 Flash, descritto come veloce ed economico ma soggetto a confusioni durante un uso prolungato degli strumenti. Il fine-tuning ha mirato a questo modo di fallimento. I risultati riportati indicano un guadagno di 14,3 punti in codifica agentica su LiveBench, con un passaggio da 46,8 a 61,1. Su AutomationBench, il progresso annunciato è di 13,7 punti, da 25,1 a 38,83. Su NL2Repo-Bench, l'aumento raggiunge 19 punti, da 54,2 a 73,3. Questi guadagni sono presentati come correzioni sui flussi di lavoro precisamente mirati.

Smaug Mini: Prestazioni Multimodali

Smaug Mini, iterazione avanzata di Qwen3.8-27B dotata di 27 miliardi di parametri, è destinato a compiti multimodali e all'uso di strumenti. Abacus.AI indica che ha superato diversi modelli chiusi su alcuni benchmark, e si classifica davanti a ClaudeSonnet 5, ClaudeOpus 4.6 e GPT-5.6 Luna su IFBench, AutomationBench e JobBench. I numeri forniti includono un guadagno di 13,5 punti su NL2Repo-Bench rispetto alla base, da 42,3 a 55,8, e un guadagno di 17,1 punti su JobBench, da 33,4 a 50,5. I maggiori aumenti si situano in Matematica (+3,5) e in Ragionamento (+2,8). In parallelo, il punteggio di codifica agentica diminuisce leggermente rispetto alla base (-0,6), il che illustra compromessi secondo le categorie valutate.

Sfide nello Sviluppo di Agenti

Lo sviluppo di agenti affronta difficoltà pratiche: un agente può produrre un output senza completare il compito e deve concatenare comprensione, scelta dello strumento, analisi dell'output e azioni successive. In cicli ripetuti, può deviare dall'obiettivo, con costi e rischi aggiuntivi. Abacus.AI riporta compiti che durano diverse ore, mobilitando un contesto voluminoso e chiamate di strumenti verso documenti, API e basi di dati, con rischi di affaticamento o fallimento. L'azienda afferma che trasformare un modello di punta in un buon agente riguarda l'addestramento piuttosto che il prompt, e che i modelli linguistici generali non sono sempre adatti all'uso prolungato, soprattutto con una cache di prompt meno efficace e un contesto che si espande.

Approccio di Abacus.AI

Invece di aggiustamenti di prompt o correzioni locali, la scelta è stata quella di migliorare i modelli stessi, portando alla famiglia Smaug. I guadagni appaiono dove le basi avevano il margine maggiore, e la performance dipende fortemente dal modello e dal tipo di compito.

Modelli e Metodologie

Tre modelli a peso aperto compongono la gamma Smaug, ciascuno basato su un'architettura diversa e tutti accessibili pubblicamente su Hugging Face. Un approccio condiviso combina sequenze umane provenienti da veri compiti agentici con dati sintetici focalizzati su situazioni complesse, poi applica un filtraggio per escludere i casi che massimizzano il punteggio senza realmente completare il compito. L'obiettivo dichiarato è privilegiare la risoluzione dei problemi piuttosto che il rispetto del formato.

Per Smaug Flash, solo le matrici del fattore di attenzione sono modificate tramite tre adattatori LoRA, due addestrati in supervisore e uno per preferenza, il resto rimane identico a DeepSeek V4 Flash, mantenendo la compatibilità di inferenza e una finestra di contesto di 1 milione di token. Per Smaug Agentic, l'addestramento supervisore maschera i token di ragionamento nella perdita per preservare il processo di pensiero nativo migliorando l'uso degli strumenti, senza modificare i parametri architettonici, per una sostituzione diretta di Kimi K3. Smaug Mini applica la stessa logica a una base densa di 27B, con guadagni dove c'è margine e compromessi altrove. Abacus.AI afferma che molti fine-tuning sacrificano il ragionamento a favore del formato, e rivendica di dedicare il budget di addestramento a dati che migliorano effettivamente il modello piuttosto che sfruttare i benchmark.