Sakana AI ha pubblicato "Beyond Imitation", un articolo accettato da TMLR sulla revisione scientifica assistita da LLM, focalizzata sulla rilevazione degli errori piuttosto che sull'imitazione dei revisori umani. L'équipe ha proposto due elementi principali: un Contradiction Benchmark e un sistema chiamato Multi-Layered Review (MLR). Il benchmark contiene 1.164 contraddizioni inserite in 257 articoli provenienti da cinque conferenze (ACL, AISTATS, CVPR e ICML 2025, NeurIPS 2024).
Il sistema MLR si basa su tre agenti che operano su modelli Claude commerciali: un agente di appendici (Claude Haiku 3.5), un agente di revisione della letteratura opzionale con ricerca web (Claude Sonnet 4) e un agente di revisione (Claude Sonnet 4). Questi agenti eseguono tre passaggi ispirati al metodo di Keshav, dal piano generale alla sintesi finale con punti di forza, debolezze, domande, punteggio e lista di azioni. Il PDF viene trasmesso direttamente, preservando figure ed equazioni.
Risultati e prestazioni
I risultati sono chiari. Con quattro revisioni, MLR rileva il 73,43% delle contraddizioni che riguardano un'affermazione centrale (distanza 0) e il 40,95% in totale, rispetto al 14,81% a distanza 0 per il miglior concorrente, AgentReview. Una singola revisione MLR cattura già il 60,79%. Il giudice o3 mostra una precisione del 99,9% su articoli sani e un sensibilità dell'86,8% sulle rilevazioni confermate manualmente, suggerendo che i punteggi sono piuttosto prudenti. Il costo rimane modesto: circa 0,47 dollari per revisione, con 189.062 token in ingresso, la metà rispetto all'AI Reviewer (403.654). Non è necessario alcun GPU o fine-tuning, rendendo l'approccio accessibile a chiunque costruisca agenti di ricerca.
Limiti e sfide
Lo studio distingue anche l'effetto del modello da quello dell'architettura. Sostituire GPT-4.1 con Claude Sonnet 4 in LLM-Review porta la rilevazione a distanza 0 dal 14,56% al 35,40%, mentre la progettazione di MLR aggiunge circa 25 punti su una singola revisione. Le limitazioni sono reali: su 211 articoli effettivamente ritirati (WithdrarXiv-Check), MLR trova solo il 26,07% degli errori in corrispondenza "simile" e il 16,11% in corrispondenza esatta, rispetto al 18,48% e al 9,00% delle migliori referenze. Il sistema rimane vulnerabile alle iniezioni di prompt nascoste.
Impatto e futuro
Questo lavoro si inserisce nel contesto dell'ingorgo dei comitati di revisione, sommersi dall'aumento delle sottmissioni, e nella proliferazione dei revisori automatizzati, generalmente valutati per la loro somiglianza con le valutazioni umane, un criterio che non garantisce la rilevazione di errori reali. Piantando errori graduati, Sakana AI propone una misura più diretta della rigorosità. La differenza tra il benchmark sintetico e le ritrazioni reali mostra tuttavia che il problema rimane aperto. Le probabili evoluzioni riguardano il rafforzamento contro le iniezioni di prompt e l'ampliamento a errori più sottili, come quelli dei dati o del codice.
Considerazioni finali
Misurare un revisore IA per la sua somiglianza con gli umani è misurare la cosa sbagliata: ciò che conta sono gli errori che riesce a catturare. Sakana AI ha finalmente un benchmark che lo dimostra. Il 73% sulle affermazioni centrali per 0,47 dollari a revisione è un risultato serio, ma su 211 articoli effettivamente ritirati si scende al 16% in corrispondenza esatta. Gli errori piantati da un LLM sono più facili da rilevare di quelli che gli umani commettono realmente. Resta da vedere se questo approccio funziona al di fuori del laboratorio.