Contesto e metodologia del benchmark

Nel panorama dell’intelligenza artificiale generativa, i sistemi di Retrieval‑Augmented Generation (RAG) combinano la ricerca di documenti pertinenti con la generazione di testo. Per valutare la robustezza di questi sistemi, un team di ricercatori ha condotto un benchmark controllato utilizzando 623 query prelevate da due dataset di ricerca accademica: SciFact e NFCorpus.

Ogni query è stata associata a cinque documenti mirati, creati appositamente per interferire con il recupero. Questo approccio, definito “isolated‑target”, differisce da un attacco in cui gli stessi documenti fossero inseriti una sola volta in un indice condiviso per tutte le query.

Il principale indicatore di performance è stato il nDCG@10, che misura la qualità del ranking nei primi dieci risultati. La riduzione osservata varia dal 40,2% al 61,5% rispetto a un recupero “pulito”.

Risultati per i recuperatori classici

Il metodo di ranking più tradizionale, BM25, è basato su corrispondenze di parole chiave. I ricercatori hanno scoperto che il danno più significativo avviene quando il documento maligno contiene una ripetizione integrale della query. Questa “full‑query poison” sovrasta i termini chiave, facendo emergere il documento avvelenato nei primi risultati.

Per i recuperatori densi, è stato testato BAAI/bge-small-en-v1.5 (BGE‑small). In scenari di “query‑only poisoning”, BGE‑small ha mostrato una esposizione al target del 100%, ovvero almeno uno dei cinque documenti maligni è comparso nella top‑10 per ogni query. Tuttavia, non tutti i dieci risultati erano contaminati, il che indica una vulnerabilità parziale.

Effetto delle difese attuali

Tra le contromisure valutate, i filtri basati su overlap (che confrontano la sovrapposizione di termini tra query e documento) sono risultati capaci di bloccare i documenti “full‑query poison”. Tuttavia, questi filtri hanno anche ridotto la qualità del recupero “pulito”, penalizzando l’esperienza dell’utente.

Un’altra tecnica, la MMR (Maximal Marginal Relevance), volta a diversificare i risultati, ha mostrato scarsa o nulla protezione nelle configurazioni testate. L’inefficacia di MMR suggerisce che la diversificazione da sola non è sufficiente a mitigare attacchi mirati.

Limiti dello studio e implicazioni pratiche

Il preprint, pubblicato il 3 novembre, si concentra esclusivamente sulla misura del fallimento di recupero. Non è stato verificato se i risultati avvelenati influenzino le risposte generate dall’IA o se le istruzioni nascoste nei documenti vengano effettivamente eseguite.

Di conseguenza, una diminuzione del punteggio nDCG@10 non equivale automaticamente a un fallimento nella generazione di risposte. Ulteriori studi dovranno collegare le metriche di ranking a valutazioni end‑to‑end delle risposte dei modelli RAG.

Azioni consigliate per i responsabili di sistemi RAG

    • Monitorare la presenza di query duplicate nei documenti indicizzati, specialmente in fonti aperte o generate automaticamente.
    • Implementare filtri di overlap con soglie dinamiche, bilanciando la riduzione del rumore con la preservazione della rilevanza.
    • Testare regolarmente i modelli con dataset di attacchi controllati per valutare la resilienza a nuove tecniche di poisoning.
    • Combinare più strategie di difesa, come filtri semantici e diversificazione, per coprire differenti vettori di attacco.

Prospettive future

Con l’aumento dell’adozione di RAG in applicazioni critiche – dalla ricerca scientifica all’assistenza legale – la sicurezza dei sistemi di recupero diventa una priorità. Le prossime generazioni di retriever densi dovranno integrare meccanismi di “trust scoring” per valutare la credibilità dei documenti prima di includerli nella generazione.

Nel frattempo, la comunità di ricerca è chiamata a condividere benchmark più realistici, includendo scenari di attacco in ambienti di produzione, per capire meglio la frequenza e l’impatto reale di queste vulnerabilità.