Il rapido aumento dell’uso dell’intelligenza artificiale (IA) nell’istruzione superiore ha stimolato l’interesse verso la sua capacità di supportare valutazioni e feedback su larga scala. I modelli di linguaggio di grandi dimensioni (LLM) hanno dimostrato di poter analizzare risposte scritte, applicare criteri basati su rubriche e generare feedback dettagliati, aprendo la strada a sperimentazioni di valutazione assistita dall’IA.
1.1 Evidenze contrastanti sulla valutazione IA‑umana
La ricerca sulla valutazione automatica risale ai primi sistemi di grading automatico di brevi risposte, che si basavano su mappature concettuali, estrazione di informazioni e apprendimento automatico. Con l’avvento degli LLM, studi recenti hanno riportato risultati contrastanti: alcuni documentano elevate correlazioni tra punteggi IA e umani, altri evidenziano inflazione dei voti, penalizzazione inappropriata di lavori marginali e sensibilità limitata alle convenzioni disciplinari.
- Mizumoto e Eguchi (2023) hanno trovato che GPT‑3 otteneva l’89% di accordo entro 1–2 punti su saggi TOEFL, ma solo il 54% di accordo esatto con i valutatori umani.
- Flodén (2025) ha scoperto che GPT‑3.5 raggiungeva accordo perfetto solo sul 30% delle prove di saggio.
- Pecuchova et al. (2025) hanno dimostrato che, sebbene i modelli GPT possano raggiungere prestazioni quasi umane su alcune domande aperte, la loro allineamento a standard di valutazione umana rimane difficile.
Recenti valutazioni su larga scala hanno evidenziato ulteriori incoerenze. Hackl et al. (2023) hanno osservato coefficienti di correlazione intraclasse accettabili nel rating di feedback studentesco su 14 settimane, suggerendo che la fiducia può essere raggiunta sotto condizioni controllate. Tuttavia, Wetzler et al. (2025) hanno rilevato che i sistemi IA tendono a valutare in modo più indulgente gli studenti a basso rendimento e più severamente quelli a alto rendimento, indicando un bias proporzionale sistematico.
1.2 L’importanza della specificazione della valutazione
Molta letteratura tratta l’accuratezza della valutazione come funzione della capacità del modello, considerandola un limite intrinseco dell’IA. Meno attenzione è stata data al ruolo della specificazione della valutazione: come i criteri di marcatura, i limiti di prestazione e i requisiti di evidenza vengono tradotti in forme interpretabili dalla macchina.
- Lee et al. (2024) hanno dimostrato che strategie di prompt come il few‑shot learning e il reasoning “chain‑of‑thought” possono migliorare significativamente la precisione del punteggio in contesti scientifici.
- Tseng et al. (2024) hanno sviluppato CodEV, un sistema che sfrutta LLM con prompt “chain‑of‑thought” e rubriche agnostiche rispetto alla domanda per aumentare la coerenza nella valutazione del codice.
- Xie et al. (2025) hanno proposto il framework “Grade Like a Human”, che ripensa sistematicamente la valutazione automatica mediante un’allineamento esplicito alla rubrica, raggiungendo una maggiore concordanza con i marcatori esperti.
Questi studi indicano che la qualità della valutazione assistita dall’IA dipende non solo dall’architettura del modello ma soprattutto da come gli standard di valutazione vengono operazionalizzati.
1.3 Valutazione IA nei contesti STEM
La valutazione basata su laboratorio STEM è particolarmente impegnativa: richiede la considerazione simultanea di comprensione concettuale, correttezza quantitativa, coerenza unitaria, uso appropriato dei dati sperimentali e adesione alle norme disciplinari di evidenza e validazione. I valutatori umani applicano giudizi taciti su errori computazionali, penalizzazione di passaggi mancanti e posizionamento di lavori marginali rispetto a soglie di superamento.
Trasformare queste pratiche in regole esplicite adatte ai sistemi IA è non banale; la mancanza di formalizzazione può portare a divergenze sistematiche tra IA e giudizi umani, anche quando gli obiettivi di apprendimento sono ben definiti.
2 METODOLOGIA
Lo studio ha confrontato i punteggi assegnati da un insegnante con quelli generati da GPT‑5 su 40 relazioni di laboratorio di “Electrochemical Energy Storage Systems”. La calibrazione è stata eseguita tramite una combinazione di rubriche più dettagliate e un prompt di marcatura più esplicito. I punteggi sono stati confrontati prima e dopo la calibrazione usando statistiche complementari e analisi visive.
2.1 Calibrazione e prompt
La calibrazione ha coinvolto la revisione di criteri di valutazione, la definizione di esempi specifici per ogni livello di punteggio e l’introduzione di regole chiare per la punteggiatura delle parti mancanti o degli errori. Il prompt di marcatura è stato riformulato per richiedere all’IA di applicare ciascun criterio passo dopo passo, evidenziando le giustificazioni per ogni decisione.
2.2 Analisi della concordanza
È stato calcolato il coefficiente di correlazione intraclasse (ICC), la differenza media tra punteggi IA e umani, e la percentuale di report con differenza superiore a 10 punti. L’analisi visiva è stata effettuata tramite scatter plot e diagrammi di dispersione per visualizzare la distribuzione delle differenze.
3 RISULTATI
Dopo la calibrazione, la concordanza con i punteggi umani è migliorata in tutti i parametri:
- ICC è aumentato da 0,818 a 0,928.
- Differenza media ridotta da +1,625 a +1,041 punti.
- Nessun report post‑calibrazione differisce dal punteggio umanistico di più di 10 punti.
Questi risultati indicano che la specificazione chiara dei criteri di valutazione e del prompt può migliorare significativamente la coerenza tra IA e valutatori umani.
4 DISCUSSIONE
La calibrazione ha dimostrato di potenziare l’affidabilità della valutazione IA in un contesto laboratoriale STEM, ma le limitazioni rimangono notevoli:
- La riformulazione di rubriche e prompt è stata eseguita contemporaneamente, rendendo difficile isolare l’effetto di ciascun elemento.
- Il processo di calibrazione ha utilizzato gli stessi 40 report per l’analisi post‑calibrazione, creando una dipendenza dal campione.
- Il punteggio di riferimento è stato quello di un singolo valutatore, limitando la generalizzabilità.
Di conseguenza, i risultati supportano solo un miglioramento dell’accordo in‑sample sotto una strategia di calibrazione supervisata dall’uomo, senza poter affermare la validità o l’intercambiabilità di punteggi autonomi per decisioni sommative.
5 CONCLUSIONI E IMPLICAZIONI
Lo studio evidenzia che:
- Una rubriche esplicite e un prompt di marcatura dettagliato possono aumentare la concordanza IA‑umana.
- La concordanza elevata non implica automaticamente la validità o l’autonomia della valutazione IA.
- La progettazione di rubriche analitiche con esempi e regole chiare è cruciale per l’affidabilità in contesti STEM.
Per applicazioni pratiche, gli educatori dovrebbero considerare una fase di calibrazione iterativa, testare la robustezza su campioni diversi e combinare la valutazione IA con supervisione umana, specialmente per decisioni sommative.
Il futuro della valutazione assistita dall’IA richiede non solo miglioramenti nei modelli, ma anche un lavoro di progettazione strutturale delle rubriche e dei prompt, per garantire che le decisioni automatizzate siano accurate, coerenti e valide rispetto agli obiettivi di apprendimento.
