Introduzione al problema dei giudici di sicurezza

Un safety judge decide se la risposta di un modello linguistico debba essere consentita, bloccata o segnalata per revisione. Un errore in questa decisione, una volta il modello è in produzione, può comportare costi elevati, sia in termini di danni reali sia di reputazione.

Le tradizionali metriche di test forniscono una misura dei risultati passati, ma non garantiscono formalmente quante volte il giudice sbaglierà su casi nuovi. Inoltre, riservare una parte dei dati etichettati per verificare una garanzia riduce il numero di esempi disponibili per l'adattamento del giudice.

Approccio PAC‑Bayes senza set di validazione

Lo studio, condotto da Philip H. S. Torr insieme a ricercatori di Oxford e Toronto, analizza giudici che valutano prompt e risposte provenienti da un modello linguistico fissato. Il team parte da modelli di guardrail esistenti, li adatta e poi ne comprime le modifiche.

Il metodo calcola un limite superiore al rischio futuro basandosi su due elementi:

    • Il numero di errori commessi dal giudice sul campione etichettato.
    • La quantità di informazione (in bit) necessaria per descrivere le modifiche apprese.

Questo tipo di garanzia è conosciuto come PAC‑Bayes (probabilmente approssimativamente corretto, versione bayesiana). La procedura utilizza gli stessi esempi etichettati sia per adattare il giudice sia per calcolare il bound, evitando così la necessità di un set di validazione separato.

Il legame tra compressione e descrizione

Il bound addebita il costo in bit della descrizione dell'adattamento del giudice. Viene impiegato il generalised Catoni bound, che combina l'errore osservato, un costo di complessità basato sul prior di Solomonoff e un termine di confidenza (fissato a 0,05). Le descrizioni più brevi, codificate con l'Elias delta code, riducono il costo di complessità.

Strategie di compressione dell'adattamento

Poiché la lunghezza della descrizione è fondamentale, la dimensione dell'aggiornamento appreso diventa una scelta di progettazione. Vengono confrontate diverse varianti di LoRA (Low‑Rank Adaptation):

    • LoRA: aggiunge cambiamenti a bassa rango ai pesi congelati.
    • LoRA‑XS: apprende un piccolo aggiornamento nello spazio della decomposizione in valori singolari (SVD) dei pesi.
    • LoRA‑T (TinyLoRA): costruisce l'aggiornamento da un vettore breve proiettato tramite matrici fisse.
    • LoRA‑TT: versione “tied” che condivide lo stesso vettore tra i moduli adattati di ogni layer del transformer.
    • LoRA‑GT: variante proposta che mantiene la condivisione del vettore e utilizza una singola scala di quantizzazione per tutti i layer.

Con LoRA‑GT, la condivisione della scala riduce drasticamente lo spazio di memorizzazione: su Llama Guard 3 il totale passa da 576 bit a soli 80 bit per pesi e scale.

Quantizzazione dei parametri

La compressione dipende anche da come i valori appresi vengono quantizzati. LoRA‑GT divide ogni valore addestrabile per la scala condivisa, lo arrotonda a un intero rappresentabile e lo ricostruisce moltiplicandolo per la scala. La ricerca della scala ottimale avviene a diversi livelli di bit:

    • 2 bit: si esplorano scale più piccole, riducendo l'errore medio relativo di ricostruzione dell'11 % su 60 vettori.
    • 3‑4 bit: si continua la ricerca, bilanciando errore e complessità.
    • ≥8 bit: si sceglie la scala minima che evita il clipping dei valori, con una riduzione dell'errore medio del 0,3 %.

Una migliore ricostruzione non garantisce automaticamente un bound più stretto: il distorsione funzionale (rischio empirico del giudice quantizzato meno quello originale) deve essere valutata insieme al numero di bit descrittivi.

Setup sperimentale e benchmark

Le valutazioni sono condotte su quattro benchmark di sicurezza etichettati:

    • Egida: giudizi di sicurezza su risposte di agenti (792 esempi).
    • OpenAI Content Moderation: valutazione di prompt utente isolati (1 344 esempi).
    • Aegis: combina prompt utente e risposte di agenti (28 984 esempi).
    • BeaverTails: sicurezza delle risposte di agenti (300 567 esempi).

I cinque modelli testati includono Llama Guard 3 a 1 e 8 miliardi di parametri e Qwen3Guard a 0,6, 4 e 8 miliardi. Tutti sono finemente sintonizzati tramite cross‑entropy supervisionato sui loro strati lineari.

Per ogni modello e benchmark vengono riportati certificati sia per decisioni di sicurezza “hard” sia per probabilità predette, usando il rischio di Brier (errore quadratico tra probabilità predetta e etichetta binaria). Inoltre, il test risk su esempi di test separati è fornito per confrontare le performance empiriche con i certificati.

Risultati: certificati e trade‑off

LoRA‑GT ottiene il certificato più stretto in tutte le 40 combinazioni (5 modelli × 4 benchmark × 2 tipologie di loss). Lo standard LoRA produce certificati vacui in ogni caso. L'ordine di lunghezza della descrizione corrisponde all'ordine di stretta del certificato in 39 su 40 casi.

Tuttavia, un certificato più stretto non implica necessariamente un rischio di test più basso. Su BeaverTails, LoRA‑GT quantizzato presenta un rischio zero‑one di test qualche punto percentuale più alto rispetto a LoRA, mentre il certificato scende da 1,0 (LoRA) a circa 0,2 (LoRA‑GT). Gran parte di questa differenza era già presente prima della quantizzazione, indicando che la restrizione dell'adattamento influisce sia sul certificato sia sul rischio empirico.

Influenza della dimensione del campione

Il trade‑off varia in base al benchmark e alla quantità di dati disponibili. Nella media dei certificati:

    • Quantizzazione a 2 bit è preferita su Egida e OpenAI Content Moderation.
    • Quantizzazione a 4 bit è preferita su Aegis e BeaverTails.

Questa differenza è spiegata dal bilanciamento tra la complessità risparmiata (meno bit) e la distorsione introdotta (più errore di ricostruzione) a seconda della dimensione del campione di certificazione.

Dove termina la garanzia

Il certificato è valido solo finché rimangono invariati:

    • la distribuzione dei prompt,
    • il generatore di linguaggio (inclusi impostazioni di decoding e system prompt),
    • il processo di etichettatura di sicurezza.

Qualsiasi variazione in questi elementi richiede una nuova certificazione, poiché il bound è calcolato rispetto alla distribuzione specifica rappresentata dal campione di certificazione.

Conclusioni e prospettive future

Il lavoro dimostra che è possibile ottenere garanzie PAC‑Bayes utili per giudici di sicurezza senza dover sacrificare dati per set di validazione. La chiave è comprimere l'adattamento (tramite LoRA‑GT e quantizzazione condivisa) e contabilizzare rigorosamente il costo descrittivo in bit.

Le implicazioni pratiche includono:

    • Riduzione della dipendenza da grandi quantità di dati etichettati per la validazione.
    • Possibilità di distribuire giudici più leggeri su dispositivi con risorse limitate, mantenendo certificati formali di affidabilità.
    • Un framework per valutare sistematicamente il compromesso tra compressione e rischio, adattabile a nuovi modelli e benchmark.

Future ricerche potranno esplorare:

    • L’estensione del metodo a scenari multi‑modalità (testo‑immagine).
    • L’integrazione di tecniche di pruning oltre alla quantizzazione.
    • La validazione dei certificati in ambienti di distribuzione dinamica, dove la distribuzione dei prompt evolve nel tempo.

In sintesi, la combinazione di adattamenti a bassa complessità e legami teorici PAC‑Bayes apre la strada a sistemi di moderazione più sicuri, trasparenti e scalabili per i grandi modelli linguistici.