Perché è difficile valutare i LLM

Valutare i Modelli di Linguaggio di grandi dimensioni (LLM) è essenziale per consumatori e aziende che vogliono capire i progressi delle versioni più recenti e confrontarle con i concorrenti. La tabella di classificazione più seguita, quella di arena.ai, è un punto di riferimento, ma la non‑deterministicità intrinseca dei LLM rende la misurazione complessa.

Quando i ricercatori usano gli stessi prompt, configurazioni e dataset di riferimento, anche piccole differenze nell’ambiente di esecuzione – come la configurazione hardware, la precisione numerica, il batch size o l’ordine delle risposte a scelta multipla – possono produrre risposte diverse e modificare in modo significativo i punteggi di rendimento.

Una variabile trascurata: la data corrente

L’ultimo studio, una collaborazione tra università tedesche, messicane e statunitensi, ha identificato una fonte critica di non‑determinismo: l’iniezione invisibile della data corrente nei prompt di sistema di molti LLM di punta e di alcuni modelli open‑source. Questo “metadato dinamico” può rendere la riproducibilità quasi impossibile.

Nel loro articolo gli autori affermano: “Identifichiamo una fonte critica, spesso trascurata, di non‑determinismo nella valutazione dei LLM: l’iniezione occulta della data corrente nei prompt del sistema.”

Impatto sulle classifiche

    • In 9 modelli, 6 dataset e 4 compiti, i metadati dinamici hanno modificato le performance e riordinato le classifiche, superando l’influenza di altri fattori di sistema come batch size o precisione numerica.
    • Le variazioni più marcate si osservano nei compiti generativi: fino al 6 % di differenza in domande a scelta multipla, 14 % in ragionamento matematico e 7 % nella generazione di codice.
    • Le metriche di traduzione automatica (BLEU, chrF) hanno mostrato variazioni significative analoghe.

Il caso Llama 3.1 e il “chain‑of‑thought”

Un esperimento ha confrontato le risposte dirette con il prompting “chain‑of‑thought” (ragionamento passo‑a‑passo) per Llama 3.1 (8 B) sul benchmark MMLU nel 2024. I risultati mostrano una variabilità sostanzialmente maggiore quando si utilizza il ragionamento passo‑a‑passo (linea rossa) rispetto alle risposte dirette (linea blu), dimostrando che il prompting avanzato amplifica la sensibilità alla data.

Evidenze anche nei modelli proprietari

Nei test su GPT‑5.1, la precisione è fluttuata fino a 4 % su tre benchmark a scelta multipla durante una settimana di dicembre 2025, nonostante l’uso di un prompt di sistema vuoto, la disattivazione del ragionamento e la random seed fissata a zero. La data veniva comunque inserita automaticamente dal provider.

Il grafico allegato mostra la precisione giornaliera su GPQA (in arancione), con una differenza di quattro punti percentuali tra il giorno migliore e quello peggiore.

Raccomandazioni dei ricercatori

Per garantire confronti equi, gli autori suggeriscono di:

    • Rimuovere la data dai prompt di sistema quando possibile.
    • Se la rimozione non è fattibile, correggere e documentare esplicitamente la data usata.
    • Considerare la data come un possibile fattore di sensibilità durante la progettazione di benchmark.

Possibili cause della sensibilità alla data

Gli studiosi ipotizzano che la fragilità possa derivare dal fatto che il prompt di sistema sia fissato durante il supervised fine‑tuning (SFT) e il reinforcement learning from human feedback (RLHF). In tali fasi, qualsiasi modifica, anche minima, può avere effetti amplificati.

Test di diverse formulazioni del prompt

Sei versioni diverse del messaggio di sistema sono state valutate. Il cambiamento di formulazione ha prodotto variazioni di precisione pari al 0,78 %, quasi identiche a quelle generate dal semplice aggiornamento della data. Questo dimostra che la data è tanto influente quanto l’ingegneria di prompt deliberata.

Altri tentativi di mitigazione

Le tecniche sperimentate includono:

    • Few‑shot learning: fornire cinque esempi prima della risposta ha ridotto la variazione media dal 2,52 % al 2,27 %, ma non ha eliminato il problema.
    • Variazioni di hardware GPU, batch size, precisione numerica e ordine delle risposte: gli effetti più significativi sono stati osservati con l’ordine delle risposte e la formulazione del messaggio, avvicinandosi all’impatto della data.

Perché la data appare nei prompt di sistema?

È ragionevole che un LLM desideri conoscere la data corrente all’inizio di una conversazione, ma non vi è alcuna necessità tecnica di includerla direttamente nel prompt di sistema. Una chiamata RAG (retrieval‑augmented generation) di pochi byte potrebbe fornire l’informazione quando serve, senza compromettere la riproducibilità.

La mancanza di consapevolezza su questo aspetto suggerisce che la questione non è stata oggetto di ricerca approfondita fino a poco tempo fa.

Metodologia sperimentale

Per le prove, i ricercatori hanno mantenuto identici i messaggi per tutti i modelli, variando soltanto la data nel prompt di sistema. Il periodo di test ha coperto tutti i giorni del 2024, dal 1° gennaio al 31 dicembre, con tutte le altre impostazioni bloccate.

Sei benchmark di valutazione sono stati adottati:

    • MMLU, GPQA e ARC‑Challenge per domande a scelta multipla (punteggio basato sulla probabilità del token di risposta).
    • GSM8K per ragionamento matematico passo a passo (verifica della risposta finale).
    • HumanEval per generazione di codice Python (valutazione con pass@1).
    • WMT per traduzione inglese‑tedesco, inglese‑finlandese e inglese‑ceco (valutata con BLEU e chrF).

Le domande dipendenti dal tempo sono state escluse.

Modelli testati

Nove LLM sono stati sottoposti a valutazione:

    • Llama 3.1 Instruct (8 B e 70 B)
    • Gemma 3 Instruct (4 B e 27 B)
    • Qwen3 (4 B)
    • Qwen3‑Next (80 B)
    • Phi‑4 (14 B)
    • GPT‑OSS (20 B e 120 B)

Le metriche usate includono la percentuale di risposte corrette per i compiti a scelta multipla e matematici, l’Errori di Calibrazione Atteso (ECE) per verificare la corrispondenza tra fiducia e performance, pass@1 per il codice e BLEU/chrF per la traduzione.

Risultati chiave

I risultati confermano l’ipotesi: una semplice variazione della data nel prompt di sistema modifica la precisione dei modelli su domande identiche. In MMLU, ad esempio, cinque modelli leader hanno mostrato fluttuazioni marcate al variare della data, alterando anche il ranking finale nella classifica arena.ai.

Queste scoperte sollevano importanti questioni etiche e pratiche: milioni di dollari di investimenti e la reputazione di aziende di IA dipendono da benchmark apparentemente oggettivi, ma ora è chiaro che elementi occultati come la data possono falsare i risultati.

Conclusioni e prospettive future

La ricerca evidenzia una vulnerabilità poco considerata ma altamente impattante nella valutazione dei LLM. La rimozione o la trasparenza riguardo alla data nei prompt di sistema rappresenta un passo cruciale per garantire confronti equi e affidabili.

In futuro, gli standard di benchmark dovranno includere linee guida precise su tutti i metadati inseriti automaticamente, e i fornitori di modello dovranno offrire opzioni configurabili per disattivare queste informazioni. Solo così sarà possibile valutare realmente il progresso tecnico dei LLM senza l’influenza di parametri nascosti.