Domande cliniche basate su evidenze con RAG e LLM open source

Introduzione al problema dei LLM in ambito clinico

I grandi modelli linguistici (LLM) stanno diventando sempre più popolari come supporto decisionale nella medicina, ma presentano limitazioni note: generano informazioni inesatte, risposte troppo generiche e affermazioni non direttamente ricavate da fonti autorevoli. Per mitigare questi rischi è stato proposto il paradigma Retrieval‑Augmented Generation (RAG), che combina la capacità di generazione del LLM con la ricerca di frammenti testuali pertinenti provenienti da un corpus controllato.

Il presente lavoro si concentra su un ambiente sperimentale ristretto, basato su un unico libro di testo medico, per valutare quali fattori influenzino maggiormente l’affidabilità e le prestazioni del sistema RAG. In particolare, si confrontano diverse scelte di modello di embedding e due strategie di chunking (a livello di token e a livello di carattere).

Obiettivi della ricerca

• Determinare l’impatto della selezione del modello di embedding sulla precisione del recupero.
• Valutare se la modalità di chunking influisca in modo significativo sui risultati.
• Misurare la qualità della generazione mediante metriche standard e verificare la presenza di evidenze testuali a supporto delle risposte.

Metodologia sperimentale

Il corpus è costituito da tutti i capitoli di un libro di testo di riferimento per la formazione clinica. Prima della fase di indicizzazione, i testi sono stati normalizzati con un processo di correzione automatica assistita da Gemini 2.5 Pro, che ha garantito l’uniformità della struttura gerarchica (H1‑H4) e la pulizia di spazi, punteggiatura e formattazione, senza alterare dati medici o riferimenti.

Per l’indicizzazione sono stati testati dodici modelli di embedding, divisi in due categorie:

• Generali: Jina‑Embeddings‑v3, BGE‑base‑en‑v1.5, Sentence‑Transformers‑all‑mpnet‑base‑v2, ecc.
• Specifici biomedici: BioClinicalBERT, SciBERT, PubMedBERT, BioLinkBERT, ecc.

Ogni modello è stato applicato a due strategie di chunking:

• Token‑level: divisione del testo in segmenti di 200 token sovrapposti.
• Character‑level: divisione in blocchi di 1000 caratteri senza sovrapposizioni.

Le query sono state generate a partire da un set di 232 domande cliniche pre‑definite, per le quali esiste una risposta gold standard fornita da esperti medici. Il LLM utilizzato per la fase di generazione è stato un modello open‑source di dimensione media, controllato da prompt che richiedevano di citare esplicitamente i frammenti recuperati.

Metriche di valutazione

• Recall@k e Precision@k per misurare l’efficacia del recupero.
• BLEU, ROUGE‑L e BERTScore per valutare la similarità lessicale e semantica delle risposte generate.
• Percentuale di risposte prive di evidenza testuale (definita “evidence‑grounding rate”).

Risultati principali

Il confronto tra i modelli ha evidenziato che gli embedding generali superano consistentemente quelli biomedicali sia in termini di recupero che di qualità della generazione. In particolare, Jina‑Embeddings‑v3 e BGE‑base‑en‑v1.5 hanno ottenuto i migliori punteggi di Recall@10 (0,78) e Precision@5 (0,71), superando di oltre 10 % i migliori encoder biomedici.

Le metriche di generazione hanno mostrato una correlazione diretta con la precisione del recupero: configurazioni con maggiore Precision@k hanno registrato BLEU più alto (0,62 contro 0,48) e BERTScore più vicino al gold standard (0,84 contro 0,73). Questo indica che una migliore selezione dei frammenti influisce positivamente sulla coerenza semantica della risposta.

Per quanto riguarda l’evidence‑grounding, la configurazione ottimale (BGE‑base‑en‑v1.5, chunking a livello di token) ha ridotto il tasso di risposte senza evidenza al 26,1 %, rispetto al 35,6 % medio dell’intero set. È importante sottolineare che, sebbene questa metrica misuri la presenza di citazioni testuali, non garantisce la correttezza clinica delle affermazioni.

Analisi delle strategie di chunking

Il confronto tra token‑level e character‑level ha rivelato differenze marginali: il token‑level ha leggermente migliorato la recall, mentre il character‑level ha offerto una maggiore uniformità nella lunghezza dei blocchi, facilitando l’indicizzazione. Tuttavia, la differenza più significativa è rimasta legata alla scelta del modello di embedding.

Implicazioni per la pratica clinica

Questi risultati sottolineano il ruolo cruciale della fase di retrieval nella progettazione di sistemi RAG per il contesto medico. L’adozione di modelli di embedding open‑source generali, combinati con una strategia di chunking adeguata, permette di costruire architetture trasparenti e replicabili, evitando la dipendenza da fornitori proprietari.

Un sistema RAG ben calibrato può fungere da “cercatore di evidenze” per i LLM, limitando le allucinazioni e garantendo che le risposte siano ancorate a testi verificati. Ciò è particolarmente rilevante in scenari di formazione medica, supporto alla decisione clinica e sviluppo di assistenti virtuali per i pazienti.

Limiti dello studio

• Il corpus è limitato a un unico libro di testo; l’estensione a più fonti potrebbe modificare i risultati.
• Le domande sono state create in ambiente controllato e potrebbero non riflettere la complessità delle richieste reali dei clinici.
• La valutazione dell’evidence‑grounding si basa su citazioni testuali, non su verifiche di accuratezza medica.

Conclusioni e prospettive future

Il lavoro dimostra che, in un contesto di QA clinico basato su RAG, la qualità del retrieval è più determinante della complessità del modello di generazione. Gli embedding generali open‑source, in particolare BGE‑base‑en‑v1.5 e Jina‑Embeddings‑v3, offrono prestazioni superiori rispetto ai tradizionali encoder biomedici, riducendo significativamente il numero di risposte prive di evidenza.

Future ricerche dovranno esplorare l’integrazione di più corpora (linee guida, articoli peer‑reviewed, cartelle cliniche) e valutare l’impatto di tecniche di feedback umano sul miglioramento della correttezza clinica delle risposte generate.

In sintesi, i sistemi RAG open‑source rappresentano una via promettente per realizzare strumenti di supporto clinico affidabili, trasparenti e scalabili, ponendo la ricerca di evidenze al centro del processo decisionale automatizzato.