Le sensazioni sono al centro del benessere, ma la loro misurazione rimane difficile: i sondaggi forniscono dati affidabili ma risultano gravosi per gli utenti. I grandi modelli linguistici (LLM) offrono un’alternativa provocatoria, fungendo da proxy capaci di articolare emozioni ed esperienze a nome delle persone. Tuttavia, pochi studi hanno valutato sistematicamente la validità di questo approccio, ed è proprio questo il contributo della ricerca presentata.
Metodologia e dataset
Il progetto ha impiegato dati longitudinali provenienti da smartphone per personalizzare un LLM, Gemini‑2.5‑flash‑lite, e approssimare le risposte umane a un questionario affettivo (Positive and Negative Affect Schedule – PANAS). Sono stati raccolti 17 settimane di rilevamenti multimodali e questionari da 83 partecipanti, includendo:
- uso delle app
- attività della tastiera
- testo visualizzato sullo schermo
- questionari settimanali I‑PANAS‑SF come “ground truth”
Il design sperimentale controllato ha variato sistematicamente il volume e l’intervallo temporale dei dati usati per personalizzare il modello, valutandone la performance predittiva su differenti tipologie di affetto, intervalli temporali e singoli individui.
Procedura di valutazione
Tutte le previsioni sono state effettuate con un prompting zero‑shot (senza esempi in‑context o fine‑tuning specifico). Sono stati valutati fino a 17 questionari settimanali per partecipante, per un totale di 4 949 file di previsione affettiva. Il modello ha elaborato 63,53 M di token di input, su 5 384 richieste, con un tasso di errore API dello 0,09 % e un costo complessivo di 19,09 USD, completando l’intero processo in circa 30 ore.
Risultati principali
Le analisi hanno evidenziato tre risultati chiave:
- Allungare l’intervallo temporale (da 1 ora a 7 giorni) non ha prodotto miglioramenti coerenti nelle previsioni del modello.
- Il LLM mostra un chiaro bias di positività, sovrastimando la felicità dei partecipanti e attenuando le emozioni negative.
- Le previsioni degli affetti negativi risultano più affidabili di quelle degli affetti positivi, con notevoli variazioni tra i diversi tipi di affetto e tra i partecipanti.
Performance globale
La tabella 1 (non riportata qui) sintetizza le metriche di accuratezza per i dieci affetti dell’I‑PANAS‑SF su tutti gli intervalli temporali. L’accuratezza varia dal 27,8 % al 30,8 %, con valori di RMSE superiori a 1,4. Tutte le previsioni basate sull’intervallo temporale sono inferiori a baseline semplici basate sui rapporti storici dei partecipanti, come il “Previous Week baseline”, che raggiunge il 49,1 % di accuratezza e un errore più contenuto.
Bias di positività
Quando il modello sbaglia, tende a gonfiare le valutazioni di affetti positivi come “alert” e “determined”, mentre diminuisce o omette quelli negativi come “nervous” o “upset”. Questo effetto di ottimismo può far apparire i sistemi basati su LLM più rassicuranti di quanto siano effettivamente accurati, rischiando di nascondere stati di disagio reale.
Implicazioni e raccomandazioni
Questi risultati avvertono contro l’uso acritico di LLM per inferire le emozioni umane da tracce digitali. Un bias di ottimismo potrebbe far perdere di vista il disagio, con possibili conseguenze negative per applicazioni in salute mentale o benessere digitale. È dunque fondamentale:
- Integrare valutazioni rigorose basate sulla scienza affettiva.
- Monitorare e mitigare i bias sistematici nei modelli.
- Combinare i dati passivi con metodologie di raccolta tradizionali, mantenendo un equilibrio tra continuità e accuratezza.
Solo così i sistemi futuri potranno supportare in modo più sicuro e efficace la riflessione personale, l’autoconsapevolezza e il benessere, senza mascherare la complessità delle esperienze emotive umane.