Negli ultimi anni i modelli di linguaggio hanno acquisito capacità sorprendenti, ma la fase di retrieval – cioè la ricerca dei documenti pertinenti – è rimasta ancorata a metodi basati su corrispondenza lessicale o su spazi di embedding fissi. Questa disparità crea un “collo di bottiglia”: se il recuperatore non individua il documento giusto, anche il generatore più potente non può produrre una risposta corretta.

DecisionRAG: un nuovo paradigma di retrieval

DecisionRAG (Decision Retrieval‑Augmented Generation) introduce una soluzione che sfrutta i modelli linguistici pre‑addestrati per valutare la rilevanza dei documenti mediante modelli decisionali. In pratica, il modello riceve una singola domanda e, in un unico forward pass, giudica simultaneamente tutti i candidati di un determinato livello gerarchico, senza produrre alcun token testuale.

Il principio è analogo a quello di un lettore che sfoglia una biblioteca: a partire da macro‑temi, il lettore decide quali scaffali approfondire, scendendo poi a capitoli e infine a singoli paragrafi. Ogni decisione è presa tenendo conto del contesto condiviso, rendendo le stime di rilevanza comparabili fra loro.

Funzionamento a più livelli

    • Livello top‑level: il modello seleziona le categorie tematiche più promettenti.
    • Livello intermedio: per ogni categoria scelta, vengono valutati i sotto‑documenti (ad es. pagine o sezioni).
    • Livello di passaggio: infine, i paragrafi vengono ordinati e, se necessario, ri‑classificati con un approccio multiple‑choice.

Il processo è iterativo: a ogni livello i rami non promettenti vengono potati (pruned) e solo i figli dei rami selezionati continuano la navigazione. La struttura gerarchica è costruita a priori, ad esempio raggruppando 2,68 milioni di paragrafi di Wikipedia in 108 626 pagine clusterizzate.

Valutazioni sperimentali

DecisionRAG è stato testato su quattro benchmark, tra cui MultiDoc2Dial e Natural Questions. I risultati dimostrano un miglioramento sostanziale rispetto a un tradizionale dense retrieval seguito da un reranker da 8 biliardi di parametri (Qwen3‑Reranker‑8B).

    • Su MultiDoc2Dial, R@1 è salito dal 33,6 % al 47,4 % (guadagno di 13,8 punti percentuali).
    • Su Natural Questions, Hit@1 è passato dal 48,0 % al 65,4 % (guadagno di 17,4 punti percentuali).
    • Il tempo medio di retrieval varia tra 0,7 e 1,8 secondi per query, con costi di 0,22‑2,33 centesimi per chiamata.

Questi numeri si riferiscono esclusivamente alla fase di recupero: la generazione della risposta non è stata valutata in questi esperimenti.

Confronti dettagliati

Un'analisi più fine ha confrontato DecisionRAG con un approccio “dense + reranking”. I risultati mostrano:

    • Su ConditionalQA, Hit@1 è passato dal 65,7 % (dense + Jev) al 73,4 % (DecisionRAG).
    • Su Natural Questions, Hit@1 è migliorato da 59,4 % a 66,4 %.
    • Su MultiDoc2Dial, R@10 è leggermente inferiore per DecisionRAG (85,6 % vs 86,6 %).

Queste differenze suggeriscono che la navigazione gerarchica aggiunge valore soprattutto quando il contesto di lettura (ordine delle pagine) è rilevante.

Il ruolo del contesto condiviso

Il modello decisionale opera in due modalità principali:

    • Modalità binaria: per ogni candidato viene posta una domanda “è rilevante?” e il modello restituisce una probabilità di “sì”. Le probabilità non sono normalizzate tra i candidati, permettendo valutazioni indipendenti ma comparabili.
    • Modalità multiple‑choice: limitata a 255 opzioni, viene usata alla fine del percorso per ri‑ordinare un breve elenco di passaggi selezionati.

Condividere lo stesso contesto tra tutti i candidati è cruciale: le decisioni sono influenzate dalle alternative presenti, evitando valutazioni isolate che potrebbero dare risultati incoerenti.

Limiti e failure mode

Il principale punto debole è la potatura irreversibile: se un ramo contenente un passaggio pertinente viene scartato, quel contenuto è definitivamente perso. Una gerarchia poco informativa o descrizioni di livello superiore deboli possono penalizzare le performance. Gli esperimenti sul budget di top‑level mostrano come ridurre il numero di rami mantenuti influisca negativamente su R@1.

Confronto con modelli generativi

Per verificare se il vantaggio deriva dalla non generazione di token, gli autori hanno sostituito il modello Jev con GPT‑5 (modalità a bassa spesa di ragionamento) che genera le proprie scelte. I risultati sono misti:

    • Su ConditionalQA, GPT‑5 ottiene 73,8 % Hit@1 vs 69,7 % per DecisionRAG.
    • Su Natural Questions, GPT‑5 raggiunge 59,0 % vs 65,0 % per DecisionRAG, ma impiega 250,8 secondi per query (vs 1,73 secondi) e costa 57,2 ¢ (vs 2,33 ¢).

Queste differenze evidenziano che la velocità e i costi di calcolo sono decisivi: la generazione di token aggiunge un overhead significativo senza garantire miglioramenti di accuratezza proporzionali.

Implicazioni pratiche e prospettive future

DecisionRAG dimostra che è possibile superare le tradizionali pipeline di retrieval‑reranking usando solo un modello decisionale pre‑addestrato, senza alcun addestramento specifico al task e senza un retriever di prima fase. Questo semplifica l'architettura dei sistemi RAG, riduce i costi di manutenzione e rende più facile scalare a collezioni molto ampie.

Le sfide rimangono, in particolare la necessità di gerarchie ben strutturate e descrizioni informative. Futuri lavori potrebbero esplorare:

    • Metodi automatici per generare descrizioni di livello superiore più ricche.
    • Strategie di pruning reversibile o di fallback per recuperare rami scartati.
    • Integrazione di feedback dinamico dall'utente per affinare la navigazione in tempo reale.

In sintesi, DecisionRAG apre la strada a sistemi di retrieval più efficienti e meno dipendenti da componenti dedicati, sfruttando al massimo le capacità decisionali dei LLM. Con ulteriori miglioramenti nella costruzione delle gerarchie e nella gestione dei budget, questo approccio potrebbe diventare lo standard per le future applicazioni di Retrieval‑Augmented Generation.