Introduzione

Negli ultimi dieci anni i sistemi di tutoring intelligenti (ITS) e le piattaforme di apprendimento adattivo hanno conosciuto una crescita esponenziale, servendo milioni di studenti con raccomandazioni personalizzate di esercizi e monitoraggio in tempo reale delle prestazioni1. Questi sistemi predicono gli esiti degli studenti con precisione crescente, ma la loro capacità diagnostica resta limitata a misure di performance esplicite: correttezza della risposta successiva, probabilità di padronanza di una competenza e latenza di risposta.

Ciò che sistematicamente manca è la dimensione motivazionale dell’apprendimento. La psicologia educativa considera la motivazione non solo un correlato della riuscita, ma spesso un predittore più forte dei risultati a lungo termine rispetto ai punteggi immediati2,3. Gli studenti con alta motivazione intrinseca elaborano più a fondo le informazioni, persistono di fronte a difficoltà e trasferiscono le conoscenze tra domini diversi.

Strumenti come la Situational Motivation Scale hanno permesso di misurare la motivazione in contesti controllati4, ma richiedono autovalutazioni esplicite e quindi non sono scalabili in ambienti di apprendimento adattivo in tempo reale. Il problema principale è pratico: i grandi dataset educativi non contengono annotazioni affidabili sulla motivazione, poiché etichettare gli stati motivazionali richiede giudizi psicologici esperti, costosi e dispendiosi in termini di tempo.

Limiti della tracciatura della conoscenza tradizionale

La letteratura sulla Knowledge Tracing (KT) mette in evidenza questo vuoto. Dalla proposta di Deep Knowledge Tracing5 il campo è avanzato verso architetture memory‑augmented (DKVMN6), self‑attentive (SAKT7, AKT8) e encoder‑decoder9, con recenti lavori che hanno semplificato i modelli10 o introdotto attenzione sparsa11. Tuttavia, l’input rimane sempre una terna ristretta: (esercizio, correttezza, tempo di risposta). Nei benchmark standard di KT, i segnali di feedback sono spesso assenti, ridotti a indicatori grossolani o non modellati esplicitamente come contesto istruttivo.

Alcuni studi hanno incorporato embedding del testo degli esercizi12 o apprendimento contrastivo su grafi di contenuto13, ma questi approcci considerano solo la descrizione dell’esercizio, non il feedback fornito dagli insegnanti. Chiamiamo questo il problema della “modalità‑isolamento” nella KT tradizionale.

Modelli linguistici di grandi dimensioni nell’educazione

Parallelamente, i Large Language Models (LLM) sono stati impiegati in una varietà crescente di compiti educativi: tutoring basato su dialogo, generazione automatica di contenuti e modellazione dello studente14,15. Sistemi dedicati come EduChat dimostrano la fattibilità di assistenti educativi potenziati da LLM16, e ricerche recenti hanno esplorato l’uso diretto dei LLM per la knowledge tracing17,18. Tuttavia, questi approcci presentano tre limitazioni fondamentali:

    • Mancanza di ancoraggio comportamentale strutturato: senza un meccanismo sistematico per condizionare l’output sull’intera storia di interazione dello studente, gli LLM sono soggetti a allucinazioni e incoerenze.
    • Architettura a due stadi: un predittore tradizionale genera punteggi numerici, mentre un LLM separato produce testo esplicativo, creando un divario semantico tra previsione e spiegazione.
    • Assenza di distinzione tra surrogate di stato di apprendimento e costrutto psicologico della motivazione: la tabella 1 del lavoro originale evidenzia che i modelli esistenti non separano chiaramente questi due livelli.

FIA‑LLM: architettura a doppio flusso

FIA‑LLM è stato concepito per colmare questi gap. Il modello fonde sequenze comportamentali con proxy di feedback e produce output strutturati attraverso rappresentazioni condivise. Le tre componenti principali sono:

1. CARD – Confidence‑Aware Robust Distillation

Card costruisce un protocollo di supervisione basato sulla Self‑Determination Theory (SDT) combinando 2 000 annotazioni di insegnanti umani con pseudo‑label generate da LLM, validate contro giudizi umani (ICC = 0.83). La procedura utilizza un training ponderato per confidenza, trattando le pseudo‑label come supervisione debole scalabile anziché verità assoluta.

2. FIA – Feedback Intervention Attention

FIA introduce un meccanismo di cross‑attention multi‑head in cui i proxy di feedback agiscono da “query” su storie comportamentali. Questo permette al modello di focalizzarsi sui momenti più rilevanti della sequenza in base al feedback ricevuto. Per isolare i guadagni architetturali da quelli di modalità, FIA‑LLM è confrontato con baseline di KT potenziate dal feedback ma con strategie di fusione più semplici.

3. JSD – Joint Structured Decoding

JSD genera simultaneamente quattro output da rappresentazioni condivise:

    • un surrogate di stato di apprendimento legato alla motivazione;
    • una previsione di risultato (es. correttezza futura);
    • un’etichetta della dimensione SDT (autonomia, competenza, relazione);
    • un testo diagnostico strutturato.

L’etichetta SDT è prodotta da una testa di classificazione esplicita, evitando la generazione libera tipica dei LLM. La coerenza tra previsione e spiegazione è valutata con il metric PEC e con revisione cieca da parte di insegnanti.

Metodologia sperimentale

Gli esperimenti sono stati condotti su due dataset di riferimento:

    • EdNet‑KT1: grande corpus di interazioni studente‑piattaforma con sequenze di esercizi, risposte e tempi.
    • ASSISTments‑2017: dataset pubblico con hint e scaffold forniti dagli insegnanti, usati come proxy di feedback.

Le annotazioni umane sono state raccolte da insegnanti esperti, che hanno valutato lo stato motivazionale degli studenti secondo la SDT. Le pseudo‑label LLM sono state generate da un modello GPT‑4‑like e poi confrontate con le valutazioni umane per calcolare l’ICC.

Per evitare overfitting, i set di test sono rimasti “congelati” e valutati da esperti esterni non coinvolti nella fase di training. Le metriche principali includono:

    • RMSE macro‑media per la previsione di risultato;
    • AUC macro‑media per la classificazione delle dimensioni SDT;
    • PEC (Prediction‑Explanation Consistency) per valutare l’allineamento tra previsione e spiegazione.

Risultati principali

FIA‑LLM ha dimostrato miglioramenti significativi rispetto ai migliori baseline:

    • Riduzione dell’RMSE macro‑media del 8,6 %;
    • Aumento dell’AUC macro‑media di 1,2 punti percentuali (test a coppie su seed, p < 0,01);
    • Performance stabili anche quando i proxy di feedback provengono da hint/scaffold di ASSISTments;
    • Revisione cieca da parte di insegnanti ha confermato la qualità diagnostica del testo generato.

Le analisi di ablation hanno mostrato che:

    • Rimuovere CARD porta a un incremento dell’RMSE di circa 4 %;
    • Eliminare il meccanismo multi‑head di FIA riduce l’AUC di 0,8 punti percentuali;
    • Sostituire JSD con una pipeline a due stadi (predizione + generazione separata) peggiora il PEC di 12 %.

Discussione e implicazioni

Il successo di FIA‑LLM evidenzia l’importanza di integrare il feedback come segnale di contesto attivo, piuttosto che trattarlo come semplice metadato. La combinazione di supervisione umana e pseudo‑label LLM, gestita tramite CARD, dimostra che è possibile scalare l’annotazione motivazionale senza cadere in un loop di auto‑supervisione.

Dal punto di vista pedagogico, l’uso di un surrogate motivazionale basato sulla SDT offre agli insegnanti una finestra interpretabile sullo stato emotivo e motivazionale degli studenti, permettendo interventi più mirati. Inoltre, la generazione di spiegazioni diagnostiche strutturate può ridurre il carico cognitivo degli insegnanti, automatizzando parte della valutazione formativa.

Le limitazioni del lavoro includono la dipendenza da proxy di feedback di qualità variabile e la necessità di ulteriori studi longitudinali per verificare l’impatto a lungo termine sul rendimento degli studenti. Future ricerche potrebbero esplorare:

    • l’estensione a contesti multilingue;
    • l’integrazione di segnali biometrici (es. eye‑tracking, ECG) per arricchire la stima motivazionale;
    • l’adattamento dinamico delle strategie di feedback in base alle previsioni del modello.

Conclusioni

FIA‑LLM rappresenta un passo avanti significativo nella modellazione dello stato di apprendimento, introducendo una stima condizionata al feedback che unisce l’efficacia dei LLM con una supervisione robusta basata su esperti. Il framework dual‑stream, con le sue tre componenti CARD, FIA e JSD, supera i metodi tradizionali di knowledge tracing sia in termini di accuratezza predittiva sia di qualità esplicativa. Questo approccio apre la strada a ITS più sensibili alle dinamiche motivazionali, con potenziali benefici per la personalizzazione dell’apprendimento e per l’efficacia dell’intervento pedagogico.