Introduzione: l’importanza della codifica dei segni e sintomi

Identificare precocemente segni e sintomi (S&S) è fondamentale per la prevenzione delle malattie e il controllo del cancro. Manifestazioni sottili o non specifiche – come ematuria, tosse persistente, perdita di peso inspiegata o affaticamento cronico – spesso precedono la conferma diagnostica, offrendo una finestra critica per un intervento tempestivo. In oncologia, il riconoscimento precoce dei sintomi influisce direttamente sulla durata dell’intervallo diagnostico, sullo stadio della malattia al momento della presentazione e sugli esiti terapeutici. Studi hanno dimostrato che una più rapida interpretazione dei S&S migliora la sopravvivenza in diversi tumori, tra cui quello del colon-retto, del polmone e della vescica.

Tali indicatori preziosi sono però sepolti in narrazioni cliniche non strutturate presenti nei record elettronici (EHR), rendendoli inaccessibili per analisi su larga scala o per modelli predittivi. Questa lacuna evidenzia la necessità di metodi automatizzati per estrarre, standardizzare e codificare i dati sui S&S.

ICD‑10‑CM: struttura e ruolo nella ricerca clinica

La Classificazione Internazionale delle Malattie, 10ª revisione, Clinical Modification (ICD‑10‑CM) è il quadro di riferimento globale per rappresentare malattie, segni e sintomi in una struttura gerarchica. Sviluppata dal Centers for Medicare & Medicaid Services (CMS) e dal National Center for Health Statistics (NCHS), ha sostituito l’ICD‑9‑CM per fornire informazioni più dettagliate e clinicamente accurate per la cura del paziente, la ricerca e il rimborso.

Ogni codice ICD‑10‑CM è composto da tre‑sette caratteri alfanumerici (vedi Tabella 1). Il primo carattere è sempre una lettera che indica il capitolo o il sistema corporeo; il secondo è numerico; i successivi da tre a sette possono essere lettere o numeri, con un punto decimale dopo il terzo carattere. I caratteri quattro‑sei offrono dettagli clinici aggiuntivi (etiologia, sede anatomica, gravità), mentre un settimo carattere, quando richiesto, indica il tipo di incontro (iniziale, successivo, sequele).

    • Codice a tre caratteri: identifica il blocco di base (es. R07 per “dolore toracico”).
    • Codice completo: fornisce specifiche cliniche (es. R07.9 “dolore toracico, non specificato”).

La strutturazione dei dati ICD‑10‑CM ha dimostrato utilità nella costruzione di modelli diagnostici e prognostici per varie patologie. Algoritmi di machine learning addestrati su EHR longitudinali codificati hanno predetto l’insorgenza di malattie, la loro progressione e le reti di comorbidità. In ambito oncologico, le traiettorie sintomatiche codificate in ICD‑10 hanno rivelato pattern precursori di malignità, come dimostrato in uno studio danese su 6,9 milioni di individui, in cui sono state identificate sequenze “tosse → ittero → ostruzione intestinale” nei pazienti con carcinoma pancreatico.

Limiti delle metodologie tradizionali di codifica

Nonostante la sua utilità, l’assegnazione manuale di codici ICD‑10‑CM è laboriosa e richiede codificatori specializzati con approfondita conoscenza medica e terminologica. L’aumento del volume della documentazione clinica ha spinto la ricerca verso approcci automatici o semi‑automatici. I primi metodi di machine learning, come le macchine a vettori di supporto e i classificatori basati su regole, miravano a mappare diagnosi estratte da sommari di dimissione su codici ICD‑10, ma hanno avuto successo limitato a causa della variabilità linguistica, della dipendenza dal contesto e della polisemia tipica del linguaggio medico.

Approcci più recenti basati su reti neurali convoluzionali e ricorrenti hanno migliorato la rappresentazione semantica del testo medico, ma rimangono dipendenti dalla qualità dei dati di addestramento, faticano con etichette rare o non viste, mancano di ragionamento simbolico e incontrano limiti nel processare note cliniche molto lunghe, che superano la capacità di input dei transformer.

Large Language Models e il problema delle allucinazioni

I Large Language Models (LLM) addestrati su trilioni di token di testo generale e biomedico mostrano capacità di ragionamento zero‑shot e comprensione contestuale. Quando opportunamente istruiti, gli LLM possono identificare S&S in testi narrativi e generare i corrispondenti codici ICD‑10‑CM. Tuttavia, la loro flessibilità generativa introduce inaffidabilità: i modelli possono produrre codici plausibili ma non validi, fraintendere il contesto o “inventare” descrizioni di codici assenti nei registri ufficiali. Queste allucinazioni riducono l’accuratezza e minano la fiducia degli utenti, sottolineando la necessità di meccanismi che vincolino la generazione a informazioni fattuali e basate su evidenze.

Retrieval‑Augmented Generation (RAG) come soluzione

Il Retrieval‑Augmented Generation (RAG) combina la potenza generativa di un LLM con un modulo di recupero di documenti pertinenti, limitando la produzione a contenuti verificabili. In questo studio, i ricercatori hanno valutato se l’integrazione di un LLM con un sistema di recupero basato sull’intero catalogo ICD‑10‑CM migliorasse accuratezza e affidabilità rispetto a un LLM senza recupero.

Metodologia

Sono state utilizzate 200 note cliniche contenenti 545 S&S etichettati da esperti umani. Sono stati confrontati tre approcci:

    • LLM‑only baseline: modello generativo senza recupero.
    • Retrieval‑only voting baseline: recupero di codici con voto aggregato, senza generazione LLM.
    • RAG‑LLM model: recupero di candidati seguito da selezione finale tramite LLM.

Otto modelli di embedding, sia specifici per il dominio sia generali, hanno prodotto vettori densi per tutti i 98.186 codici ICD‑10‑CM. Per ogni sintomo, sono stati recuperati fino a 40 codici candidati mediante similarità coseno, inseriti nel prompt del modello per la selezione finale.

Valutazione

Le prestazioni sono state misurate a livello di blocco a tre caratteri (ICD‑10) confrontando le predizioni con le annotazioni umane, con revisione esperta dei casi non corrispondenti. La validità dei codici e la coerenza della descrizione grezza sono state verificate rispetto al riferimento ufficiale ICD‑10‑CM.

Risultati principali

Il modello RAG‑LLM ha raggiunto un’accuratezza dell’85,87 % nella corrispondenza a tre caratteri, superando l’LLM‑only baseline (72,11 %) e il retrieval‑only voting baseline (55,60 %). Dopo una valutazione esplorativa, il 98,90 % delle uscite RAG‑LLM è stato considerato clinicamente accettabile per la mappatura dei S&S.

I test di McNemar accoppiati hanno mostrato miglioramenti significativi rispetto a entrambi i baseline. Inoltre, la generazione di codici ICD‑10‑CM non validi è scesa dal 9,91 % dell’LLM‑only baseline all’1,10 % del modello RAG‑LLM.

Il modello ha migliorato sia la corrispondenza a tre caratteri sia quella a codice completo, riducendo al contempo la produzione di codici non validi.

Implicazioni e prospettive future

Questo studio prova concettualmente che la selezione guidata da recupero può potenziare la mappatura di segni e sintomi a livello di codice ICD‑10‑CM. I risultati supportano l’ulteriore valutazione del RAG‑LLM come approccio di pre‑processamento per la fenotipizzazione basata sui sintomi, ma è necessaria una validazione più ampia prima di impiegarlo in flussi di lavoro reali di EHR, nella codifica a livello di fatturazione o in modelli predittivi downstream.

Le future ricerche dovrebbero:

    • Espandere il set di dati a note cliniche più eterogenee e a più lingue.
    • Integrare feedback umano in tempo reale per affinare il meccanismo di voto.
    • Valutare l’impatto della riduzione delle allucinazioni sui processi clinici e amministrativi.
    • Esplorare l’uso di RAG‑LLM per altre tassonomie mediche, come SNOMED CT.

In conclusione, l’arricchimento di un LLM locale con un modulo di recupero di codici ICD‑10‑CM rappresenta una strategia promettente per superare le limitazioni dei modelli generativi puri, fornendo mapping più accurati, affidabili e clinicamente pertinenti dei segni e sintomi descritti in testo libero.