Contesto e motivazioni
L’integrità della ricerca sanitaria dipende da revisioni etiche e di governance rigorose. I comitati etici di ricerca (REC) garantiscono che i diritti, la sicurezza e la dignità dei partecipanti siano tutelati prima dell’avvio dello studio. Tuttavia, l’aumento del volume e della complessità delle proposte di ricerca crea colli di bottiglia, specialmente per compiti a bassa complessità ma ad alto carico di lavoro, come la verifica della “coerenza del codice” delle domande presentate.
Le tecnologie di intelligenza artificiale, in particolare i modelli di linguaggio di grandi dimensioni (LLM), offrono la possibilità di automatizzare questi controlli di routine. LLM come Claude, ChatGPT e Microsoft CoPilot sono addestrati su enormi corpora testuali e sono in grado di comprendere e generare linguaggio umano, rendendoli adatti all’analisi di documenti complessi come i fogli informativi per i partecipanti.
La Health Research Authority (HRA) del Regno Unito, responsabile della revisione etica e di governance per la ricerca condotta nel NHS, ha l’obiettivo di snellire i processi per garantire revisioni tempestive e di alta qualità. L’integrazione di LLM in questi flussi di lavoro potrebbe ridurre l’onere amministrativo, standardizzare i criteri di valutazione e accelerare i tempi complessivi di revisione.
Metodologia dello studio
Campione e progettazione
Lo studio ha analizzato sei applicazioni cliniche redatte in forma anonima, tutte relative a trial di prodotti medicinali investigativi presentati tra settembre 2023 e gennaio 2024. Le prove includevano studi farmacocinetici, valutazioni di sicurezza e tollerabilità e studi di efficacia su nuove formulazioni, coprendo aree terapeutiche come malattie infettive, oncologia ed epatologia. Le dimensioni degli studi variavano da singoli centri a disegni multinazionali di fase I o II, con una media di 74,5 pagine per applicazione (intervallo 44–214).
Domande standardizzate
Per ogni applicazione sono state poste 32 domande standardizzate, focalizzate su aspetti chiave della conformità alle linee guida HRA, tra cui:
- Chiarezza e completezza delle informazioni sul rischio
- Conformità alle normative sulla protezione dei dati
- Coerenza con il “UK Policy Framework for Health and Social Care Research”
- Indicazione corretta delle pagine di riferimento
- Presenza di eventuali deviazioni dalla procedura standard
Due revisori ciechi hanno valutato le risposte fornite da ciascun LLM, misurando accuratezza, tempo di elaborazione, tasso di errori (incluse “allucinazioni”) e qualità della risposta.
Risultati principali
Velocità di elaborazione
Claude ha completato l’intero set di domande in una media di 7,17 ± 0,68 minuti per applicazione, seguito da ChatGPT con 13,58 ± 2,2 minuti e da CoPilot con 23,25 ± 6,21 minuti. L’analisi della varianza (ANOVA) ha evidenziato differenze significative (p < 0,05), confermate da test t a coppie (p < 0,05).
Tasso di completamento
Claude e ChatGPT hanno raggiunto un tasso di ritorno del 100 %, rispondendo a tutte le domande per le sei applicazioni. Microsoft CoPilot ha registrato un tasso dell’88,9 %, con le domande 24–32 – relative alla protezione dei dati – rimaste senza risposta nella maggior parte dei casi.
Accuratezza e gestione degli errori
Claude ha mostrato la più alta accuratezza (87,9 ± 2,2 % di risposte corrette) con un margine di errore del 1,8 ± 1,9 %. ChatGPT ha ottenuto il 66,5 ± 17,0 % di risposte corrette (errore 18,7 ± 14,4 %), mentre CoPilot si è attestato al 62,8 ± 18,7 % (errore 23,5 ± 16,9 %). L’ANOVA ha confermato differenze statisticamente significative (F(2,15)=5,1592, p < 0,05); i test post‑hoc Tukey hanno indicato una differenza significativa solo tra Claude e CoPilot (p < 0,05).
Quando sono stati identificati errori, Claude è stato in grado di riconoscerli e correggerli su richiesta, mentre ChatGPT e CoPilot hanno sostenuto la correttezza delle loro risposte errate, fornendo addirittura numeri di pagina fittizi per sostenere le loro affermazioni.
Rilevamento delle deviazioni
Claude ha individuato in media 8,0 ± 3,5 deviazioni per applicazione, corrispondenti al 25,7 ± 9,9 % di tutti gli standard controllati. ChatGPT ha rilevato una media inferiore (dati non mostrati nella sezione fornita), mentre CoPilot ha registrato il numero più basso di deviazioni rilevate.
Qualità percepita delle risposte
Gli esperti hanno valutato la qualità delle risposte con una scala a quattro livelli (molto buono, buono, sufficiente, insufficiente). Claude ha ricevuto il 77,6 % di valutazioni “molto buono”, contro il 56,7 % di ChatGPT e il 45,2 % di CoPilot.
Implicazioni per la pratica etica
I risultati indicano che i LLM, in particolare Claude, possono svolgere un ruolo significativo nel supportare il controllo di qualità preliminare delle domande presentate ai REC. Automatizzando il controllo di conformità a linee guida standard, gli esperti umani possono concentrarsi su valutazioni più complesse di etica e rischio, riducendo i tempi di attesa per la revisione finale.
Tuttavia, le differenze osservate nei tassi di allucinazione e nella gestione degli errori sottolineano l’importanza di una supervisione umana costante. L’affidabilità di un modello dipende non solo dalla sua capacità di produrre risposte corrette, ma anche dalla sua trasparenza nel segnalare incertezza e dalla capacità di fornire riferimenti verificabili.
L’integrazione di LLM nei flussi di lavoro dei REC richiederà:
- Definizione di protocolli per la verifica delle risposte automatizzate
- Formazione dei revisori sull’interpretazione dei risultati generati dall’AI
- Implementazione di sistemi di logging per tracciare le decisioni AI e consentire audit successivi
- Aggiornamento continuo dei modelli con dati specifici del contesto sanitario e normativo
Limiti dello studio e prospettive future
Lo studio è limitato al campione di sei applicazioni cliniche e a tre LLM commerciali. La generalizzabilità dei risultati a contesti internazionali o a tipologie di ricerca diverse (es. studi osservazionali, ricerca sociale) deve essere verificata. Inoltre, le valutazioni di accuratezza si basano su un set di 32 domande; espandere il questionario potrebbe rivelare ulteriori differenze tra i modelli.
Le future ricerche potrebbero esplorare:
- L’uso di LLM in combinazione con sistemi di estrazione di informazioni (NLP) per automatizzare la compilazione di riassunti etici
- Valutazioni comparative di versioni open‑source dei LLM rispetto a soluzioni proprietarie
- Impatto dell’adozione di LLM sui tempi complessivi di approvazione dei trial, includendo le fasi post‑review
- Strategie per ridurre le allucinazioni, ad esempio attraverso il “retrieval‑augmented generation” (RAG) che combina il modello con fonti documentali verificate
In conclusione, i grandi modelli linguistici mostrano un potenziale promettente per migliorare l’efficienza del controllo di qualità nella revisione etica della ricerca, ma la loro implementazione deve essere accompagnata da rigorosi meccanismi di supervisione umana e da una governance dedicata all’AI.
