Abstract
Scopo
Con l’adozione sempre più rapida dei grandi modelli linguistici (LLM) in ambito sanitario, è necessario accelerare la valutazione della loro accuratezza. Questo studio confronta la capacità di sei LLM di produrre scritti scientifici tecnici accurati, completi e di alta qualità in sette aree rispetto a un controllo scritto da un esperto umano.
Metodi
Quattro prompt sono stati creati in sottospecialità oftalmologiche e sottoposti a ChatGPT 4.0, Gemini 2.5 Pro, DeepSeek‑Prover‑V2‑671B, Grok 3.0, Microsoft Copilot e OpenEvidence 2.0. Ogni modello è stato valutato secondo sette fattori: accuratezza medica, esaustività, organizzazione, supporto bibliografico, efficienza del discorso, classificazione delle citazioni e leggibilità. L’analisi dati è stata effettuata in Excel, con grafici comparativi rispetto al controllo.
Risultati
I testi di controllo hanno superato tutti i modelli AI in accuratezza medica, esaustività e organizzazione. Solo OpenEvidence ha eguagliato il controllo nel supporto bibliografico, con 24 citazioni (100 %) complete e corrette. Grok è risultato il più efficiente nel discorso, mentre Gemini è risultato il più prolisso. La leggibilità media di tutti i LLM è risultata inferiore allo standard richiesto per la scrittura tecnica scientifica.
Conclusioni
Lo studio dimostra che nessun modello AI si avvicina alla capacità di un esperto umano nella generazione di scritti tecnici oftalmologici. Solo OpenEvidence ha soddisfatto i requisiti di accuratezza delle citazioni, ma ha fallito in tutti gli altri criteri. Le piattaforme AI gratuite attuali non possono sostituire la competenza umana nella produzione di letteratura scientifica di alto livello in oftalmologia.
Introduzione
I grandi modelli linguistici (LLM) hanno segnato un notevole avanzamento nell’intelligenza artificiale (AI), dimostrando capacità di generare testo simil‑umano in una vasta gamma di applicazioni [1]. Gli LLM sono sistemi di apprendimento automatico che simulano il linguaggio umano, il ragionamento complesso e il processo decisionale attraverso l’analisi di enormi dataset testuali [2‑4]. L’uso di questi modelli si è esteso a numerosi settori, tra cui la sanità [4‑5]. Studenti, professionisti e ricercatori medici li impiegano per rispondere a domande, supportare l’educazione clinica, redigere documentazione, elaborare dati, interpretare documenti legali, migliorare l’alfabetizzazione sanitaria e fornire supporto diagnostico [6‑9].
Nonostante la rapida diffusione, la verifica dell’accuratezza resta insufficiente [10]. La generazione aumentata da retrieval (RAG) è una tecnica che integra dati esterni nei modelli pre‑addestrati, rappresentando un possibile approccio per migliorare la precisione [11‑15]. Tuttavia, la correttezza delle citazioni e del contenuto generato dal RAG richiede comunque una verifica umana, poiché l’affidabilità non è garantita senza revisione esperta [14].
Studi precedenti hanno analizzato la precisione della scrittura scientifica di alcuni LLM [8,16]. Il presente lavoro amplia tali indagini, coinvolgendo due specialisti in oftalmologia che valutano e confrontano le prestazioni di sei LLM popolari nella produzione di testi scientifici con citazioni, focalizzati su sottospecialità oftalmologiche molto specifiche.
Materiali e Metodi
Modelli di intelligenza artificiale
Lo studio osservazionale ha confrontato sei LLM ampiamente utilizzati:
- ChatGPT 4.0 (OpenAI, San Francisco, CA, USA)
- Gemini 2.5 Pro (Google DeepMind, Mountain View, CA, USA)
- DeepSeek‑Prover‑V2‑671B (DeepSeek AI, Hangzhou, China)
- Grok 3.0 (xAI, San Francisco, CA, USA)
- Microsoft Copilot GPT‑4o (Microsoft AI, Redmond, WA, USA)
- OpenEvidence 2.0 (Daniel Nadler, Miami, FL, USA)
I modelli sono stati scelti per popolarità, accessibilità gratuita tramite account ospite, e per garantire la riproducibilità dei risultati.
Formato del prompt
Due specialisti in oftalmologia (MM e PCH), con 29 anni di esperienza complessiva, hanno redatto un prompt standardizzato che comprendeva quattro a cinque sottosezioni per ciascun argomento (vedi Figura 1, domanda 1). Il prompt richiedeva risposte concise ma complete, corredate da riferimenti scientifici aggiornati. Le richieste sono state inviate a ChatGPT, Gemini, DeepSeek, Grok e Copilot nel marzo 2025; OpenEvidence è stato interrogato a giugno 2025.
Le quattro sottospecialità valutate sono:
- Disease esterna – distrofie stromali
- Trapianto corneale
- Chirurgia refrattiva corneale KLEx (Keratolenticule Extraction)
- Chirurgia refrattiva guidata da topografia
Le domande specifiche per ogni specialità sono riportate nell’Appendice A. I testi di controllo sono articoli peer‑reviewed, redatti dagli stessi autori (MM e PCH), utilizzati come benchmark di riferimento. Ogni prompt è stato presentato a tutti i sei LLM mediante accesso ospite, per evitare l’influenza di cronologie di utilizzo precedenti. Qualora una risposta risultasse incompleta, è stato fornito un prompt di follow‑up (Figura 1, domanda 2) per consentire un secondo tentativo.
Analisi qualitativa
Ogni output è stato valutato su sette categorie: quattro qualitative e tre quantitative. Le quattro variabili qualitative sono state misurate mediante una rubrica a quattro punti, compilata indipendentemente da due esperti oftalmologi. I punteggi dei due valutatori sono stati mediati per ogni dominio e per ciascun LLM.
Le quattro categorie qualitative sono:
- Accuratezza medica e rilevanza: validità delle informazioni rispetto al prompt.
- Esaustività e completezza: copertura di tutti gli aspetti richiesti.
- Organizzazione: struttura logica e coerenza del testo.
- Supporto bibliografico: qualità delle citazioni, assenza di riferimenti fittizi e allineamento con il contenuto.
Ogni dominio è stato punteggiato da 0 (minimo) a 3 (massimo). I testi di controllo hanno ricevuto punteggi di 3,0 ± 0,0 in tutti i domini. Per i LLM sono stati calcolati punteggi individuali e compositi.
| Punteggio | Accuratezza medica e rilevanza | Esaustività e completezza | Organizzazione | Supporto bibliografico |
|---|---|---|---|---|
| 3 | Informazioni medicamente accurate e rilevanti | Risposta completa, copre tutti gli aspetti | Testo ben organizzato, logico e chiaro | Riferimenti non fittizi, citazioni corrette |
| 2 | Leggermente impreciso o parzialmente rilevante | Copre i punti principali ma manca di profondità | Struttura accettabile con lievi problemi di chiarezza | Alcuni riferimenti fittizi o parzialmente allineati |
| 1 | Inaccuratezza significativa o irrilevanza | Risposta incompleta o parziale | Organizzazione carente, difficile da seguire | Riferimenti prevalentemente fittizi |
Risultati
Il confronto con i testi di controllo ha evidenziato una superiorità costante del lavoro umano in termini di accuratezza medica (media 3,0 vs. 1,6‑2,0 per i LLM), esaustività (media 3,0 vs. 1,4‑2,2) e organizzazione (media 3,0 vs. 1,5‑2,1). Tra i modelli, OpenEvidence è stato l’unico a raggiungere punteggi pari a 3 nel supporto bibliografico, con tutte e 24 le citazioni complete e verificate.
Per quanto riguarda l’efficienza del discorso, Grok 3.0 ha prodotto le risposte più concise, con una media di 0,8 parole per frase, mentre Gemini 2.5 Pro ha mostrato la maggiore verbosità, superando le 1,5 parole per frase media. La leggibilità, valutata con il punteggio di Flesch‑Reading‑Ease, è risultata più bassa per tutti i LLM (valori tra 30 e 45) rispetto al minimo raccomandato di 60 per la scrittura scientifica.
Le citazioni generate da ChatGPT, Gemini, DeepSeek e Copilot presentavano una percentuale significativa di riferimenti fittizi o incompleti (dal 35 % al 65 %). Solo OpenEvidence ha evitato questo problema, ma ha mostrato carenze nella completezza e nella coerenza dell’argomentazione.
Discussione
Questo studio conferma che, sebbene i LLM possano produrre testi apparentemente coerenti, la loro capacità di replicare la profondità e l’affidabilità di un esperto umano rimane limitata. La superiore performance di OpenEvidence nel supporto bibliografico suggerisce che l’integrazione di meccanismi RAG avanzati possa migliorare la qualità delle citazioni, ma tali miglioramenti non si traducono automaticamente in una migliore qualità complessiva del documento.
L’inefficacia di tutti i modelli nel raggiungere gli standard di leggibilità richiesti evidenzia la necessità di post‑editing umano, soprattutto in ambito accademico dove la precisione terminologica e la chiarezza sono imprescindibili. Inoltre, la tendenza di Gemini a generare testo prolisso e di Grok a condensare le informazioni può influire negativamente sulla fruibilità del contenuto da parte dei lettori specialisti.
Il fatto che le piattaforme AI gratuite non riescano a eguagliare l’esperienza umana suggerisce due possibili direzioni future: (i) lo sviluppo di versioni a pagamento con modelli più grandi e con accesso a database scientifici certificati; (ii) la creazione di workflow ibridi in cui l’AI fornisce una bozza preliminare che viene poi revisionata e arricchita da esperti clinici.
Conclusioni
In sintesi, nessuno dei sei LLM analizzati (ChatGPT‑4, Gemini‑2.5 Pro, DeepSeek‑Prover‑V2‑671B, Grok‑3.0, Microsoft Copilot GPT‑4o, OpenEvidence‑2) è in grado di sostituire un esperto umano nella produzione di scrittura scientifica tecnica oftalmologica. Solo OpenEvidence ha soddisfatto i criteri di accuratezza delle citazioni, ma ha subito carenze in tutti gli altri ambiti valutati. Pertanto, le piattaforme AI non a pagamento non possono attualmente sostituire la competenza specialistica nella generazione di letteratura scientifica di alto livello in oftalmologia.
Riferimenti
[1] … (riferimenti completi come nell’articolo originale).
[2] …
[3] …
[4] …
[5] …
[6] …
[7] …
[8] …
[9] …
[10] …
[11] …
[12] …
[13] …
[14] …
[15] …
[16] …