Il 13 novembre 2026, Anthropic ha pubblicato raccomandazioni per rendere le valutazioni di sicurezza dell'IA più affidabili. L'azienda ha riportato che, per ciascuno dei suoi modelli recenti, i tassi aggregati di risposte innocue si sono attestati tra il 94% e il 98% durante i test API a singolo turno. Questi test, i cui risultati hanno raggiunto un tetto, sono principalmente utili per verificare che i modelli di guasto noti non riappaiano; le valutazioni a più turni offrono maggiori variazioni e possono rilevare cambiamenti progressivi nel corso di una conversazione.
Valutazioni di sicurezza e validità del costrutto
Una valutazione di sicurezza misura la propensione di un modello a causare un danno o a contribuirvi, ovvero in che misura la sua risposta renda tale danno più o meno probabile e la gravità che potrebbe avere, piuttosto che una capacità particolare. Una preoccupazione centrale è la validità del costrutto: il test misura davvero il concetto che dovrebbe valutare? Il tasso di rifiuto può essere fuorviante nelle conversazioni sul suicidio e l'autolesionismo, poiché rifiutarsi semplicemente di partecipare allo scambio può essere di per sé un fallimento; la risposta desiderata fornisce supporto e indirizza la persona verso un aiuto umano.
Le valutazioni multi-turno di Anthropic misurano invece il tasso di risposte appropriate nell'intera conversazione, utilizzando griglie di valutazione specifiche per ogni rischio, in cui un singolo turno inadeguato è sufficiente a far fallire l'intero scambio.
Test multi-turno e copertura del mondo reale
Per progettare questi test, un esperto del settore redige un documento specifiche che delinea gli obiettivi, le tattiche, il profilo, la situazione, il tono e lo stile conversazionale dell'utente simulato. Il primo turno dell'utente rimane fisso, mentre un altro modello Claude genera i turni successivi in risposta al modello testato. Ogni scenario viene eseguito più volte con diverse combinazioni di caratteristiche, e un modello valutatore valuta la trascrizione completa in base alla griglia di valutazione pertinente per il rischio.
Fare variare le dimensioni in modo indipendente aiuta a determinare cosa influisce sul comportamento; se tutti i casi gravi utilizzano anche un tono urgente, è impossibile distinguere gli effetti della gravità da quelli del tono. Anthropic raccomanda inoltre di basarsi su comportamenti osservati, dati pubblici, trascrizioni di esercitazioni di simulazione di attacchi, rapporti di incidenti o interviste con esperti, piuttosto che su situazioni inventate.
Le suite di test a singolo turno coprono 16 aree di politica in sette lingue e su diverse interfacce di prodotto; l'ambiente di valutazione è adattato a quello del deployment testato.
L'esecuzione dei test richiede anche misure di contenimento. Per le valutazioni di cybersicurezza, le raccomandazioni suggeriscono ambienti isolati senza accesso a Internet e monitoraggio in tempo reale, in modo da poter interrompere un test se le azioni di un modello rischiano di causare danni nel mondo reale.
Validazione dei valutatori e limiti statistici
I valutatori automatizzati introducono un altro rischio di misurazione: anche quando sono difettosi, possono continuare a produrre punteggi plausibili. Tra le misure di protezione raccomandate figurano criteri elementari a risposta binaria (sì o no), un trattamento esplicito degli avvertimenti e dei casi limite, allarmi molto visibili in caso di guasto, nonché verifiche per rilevare i bias legati alla lunghezza delle risposte, alla loro posizione e alla preferenza per sé stessi. I valutatori umani dovrebbero assegnare indipendentemente etichette a un campione di trascrizioni, al fine di confrontare l'accordo tra il valutatore automatizzato e gli esperti con quello che esiste tra gli esperti stessi.
Questa misura di riferimento umana determina la soluzione da adottare. Se gli esperti sono d'accordo tra loro, ma non con il valutatore, è necessario migliorare la griglia di valutazione o il valutatore; se non sono d'accordo tra loro, la valutazione potrebbe non avere una risposta stabile da misurare. Le raccomandazioni suggeriscono anche di pre-registrare gli indicatori, i confronti e le soglie di miglioramento prima di conoscere i risultati.
La dimensione del campione è essenziale per queste valutazioni. Anthropic applica soglie minime di 100 elementi per le valutazioni complesse multi-turno e di 1.000 per i test più semplici a singolo turno, ripetendo le esecuzioni per tenere conto di risultati rumorosi e non deterministici. Anthropic indica che gli intervalli di confidenza delle valutazioni API multi-turno possono superare i ±10 punti percentuali: in una valutazione multi-turno sulle truffe sentimentali su claude.ai, Claude Opus 5 e Opus 5.5 hanno ottenuto tassi di risposte appropriate del 98% e del 94%, rispettivamente, ma la differenza non era statisticamente significativa. Questo esempio mostra perché una semplice differenza numerica non è sufficiente per stabilire quale modello si sia comportato in modo più sicuro.
Parametri di distribuzione e presentazione dei risultati
La configurazione di distribuzione è un'altra variabile documentata. Durante l'esame di Claude Fable 5.1, Anthropic ha riscontrato che alcune risposte validavano implicitamente l'autolesionismo come strategia di adattamento, anche se lo sconsigliavano e indirizzavano la persona verso un supporto umano. L'azienda indica che una nuova esecuzione della valutazione, con misure di mitigazione mirate nel messaggio di sistema, ha dato un tasso di risposte appropriate del 94% su claude.ai, contro il 60% sull'API. Questo confronto mostra perché i punteggi derivanti da configurazioni diverse non possono essere considerati equivalenti.
Le raccomandazioni relative alla presentazione dei risultati riguardano anche le versioni dei modelli, i parametri di campionamento, i prompt, le versioni dei valutatori e le date. Esse suggeriscono una valutazione continua durante il fine-tuning, piuttosto che un singolo controllo prima del rilascio. I gravi difetti dei sistemi distribuiti dovrebbero essere segnalati prima di tutto allo sviluppatore, in modo che abbia il tempo di rimediarvi prima della pubblicazione dei risultati.
Le tre grandi priorità di Anthropic sono definire il costrutto prima di raccogliere i dati, validare il valutatore rispetto al giudizio umano e rendere conto dell'incertezza. Più in generale, affermare che un modello è più sicuro di un altro dipende tanto dalla progettazione del test, dal contesto di distribuzione e dalla potenza statistica quanto dal punteggio messo in evidenza.