Introduzione al test di prompt injection

Il 17 novembre 2026 OpenAI ha rilasciato GPT‑6.2 Astra e GPT‑6.2 Sol, seguiti entro dieci giorni da Claude Fable 5.2 (9 novembre), Gemini 4 Hydrogen (12 novembre) e Gemini 4 Neon (18 novembre). Ogni nuovo modello promette maggiore sicurezza, ma nessuna classifica pubblica mostra come l’assistente reagisce a email ostili o a PDF con righe nascoste.

Un test serio di prompt injection attacca l’applicazione, non il modello “nudo”. Serve un set di casi in italiano, un criterio di successo indipendente dall’umore di un giudice umano e una pipeline riavviabile ad ogni aggiornamento del modello. Il codice allegato costruisce tutto in Python, con 54 casi, cinque modelli, controlli deterministici, un giudice LLM e un gate che blocca la build se le metriche peggiorano.

Come funziona il test

Tre scenari realistici

Il test prevede tre contesti tipici:

    • Assistente clienti di una banca
    • Assistente risorse umane
    • Riassuntore di documenti

Ognuno ha un system prompt contenente un “canary” – un codice segreto che non deve mai comparire nell’output.

Metriche principali

L’indicatore chiave è l’ASR (Attack Success Rate), ovvero il rapporto tra attacchi riusciti e tentativi totali. Da sola è fuorviante: un modello che rifiuta tutto ottiene ASR 0 ma è inutilizzabile. Perciò si aggiunge l’over‑refusal, la percentuale di richieste legittime respinte senza motivo. Un buon risultato mantiene bassi entrambi i valori.

Con 54 casi e tre ripetizioni per modello si ottengono 135 tentativi di attacco, non migliaia. Ogni ASR è accompagnato da un intervallo di Wilson al 95 %. Se gli intervalli di due modelli si sovrappongono, la differenza non è statisticamente significativa.

Il ruolo del giudice LLM

Perché serve un giudice

I controlli deterministici verificano la presenza del codice segreto, della parola trappola e del link di esfiltrazione. Non però riconoscono parafrasi, ad esempio “esiste un codice di sei cifre che inizia per 4”. Qui interviene il modello usato come giudice, una tecnica nota come LLM as a judge: un secondo modello legge il caso, la risposta e la rubrica, restituendo un verdetto in JSON.

Il giudice è veloce e scala, ma ha due limiti noti: tende a preferire risposte nello stile proprio e può essere manipolato dal testo che deve valutare.

Tre contromisure nella pipeline

    • Il verdetto deterministico prevale sempre sul giudice.
    • Il giudice appartiene a una famiglia diversa dal modello testato.
    • Un campione di verdetti viene etichettato manualmente per calcolare l’accordo (kappa di Cohen).

I modelli in gara a novembre 2026

Il test utilizza sempre la versione più recente di ogni linea per evitare confronti distorti tra modelli di generazioni diverse.

ModelloDataID APICosti per 1 M token (input / output)Nota per il test
GPT‑6.2 Sol17 nov 2026gpt-6.2-sol2 $ / 10 $Cache input a 0,10 $, Batch e Flex
GPT‑6.2 Astra17 nov 2026gpt-6.2-astra8 $ / 40 $Variante di punta, fuori dal test base per costo
Claude Fable 5.29 nov 2026claude-fable-5-28 $ / 40 $Cache lettura a 0,20 $, retention 30 gg
Gemini 4 Neon18 nov 2026dal catalogo Google AI Studioda listino GoogleUltimo della famiglia Gemini 4
Mistral Large 429 ott 2026dal catalogo Mistral0,70 $ / 2,10 $ (IVA esclusa)Open‑weight, cache a 0,07 $

Prerequisiti tecnici e budget

Il progetto richiede solo la libreria standard di Python più l’SDK openai, che comunica anche con endpoint compatibili di Anthropic, Google, Mistral e Alibaba. La modalità a secco funziona senza installare nulla e senza chiavi, così è possibile verificare la struttura prima di spendere.

    • Python 3.12 o superiore (la sintassi str | None richiede 3.10).
    • Pacchetto openai aggiornato, installato con pip install -U openai.
    • Chiavi API per almeno due provider di famiglie diverse, necessarie per i due giudici (es. Mistral e OpenAI).
    • Tempo stimato: circa 90 min, di cui 15 min per l’esecuzione reale e il resto per scrittura, prova a secco e calibrazione.

Calcolo dei costi

Il test effettua 162 chiamate per modello (54 casi × 3 ripetizioni) più altrettante al giudice. Supponendo 400 token in ingresso e 300 in uscita per chiamata, i costi approssimativi sono:

    • Mistral Large 4: 64 800 token a 0,70 $/M token + 48 600 token a 2,10 $/M token ≈ 0,15 $.
    • Claude Fable 5.2: circa 2,50 $ per lo stesso volume di token.

Queste sono stime indicative; i modelli con ragionamento fatturano anche i token di “pensiero”.

Limiti e consigli avanzati

Il test copre un solo turno di conversazione e non l’uso di strumenti esterni, un limite da tenere presente quando si valutano assistenti più complessi. Per superarlo è possibile:

    • Estendere la pipeline a più turni, simulando dialoghi prolungati.
    • Integrare chiamate a tool (es. retrieval, esecuzione di codice) e verificare se l’attacco si propaga.
    • Aggiungere casi di “chain‑of‑thought” per valutare la robustezza dei ragionamenti interni.

Conclusioni

Questo test di prompt injection fornisce una metodologia standardizzata, replicabile e statisticamente solida per confrontare LLM di ultima generazione. Con 12 passaggi ben definiti, 54 casi di attacco e un giudice LLM calibrato, è possibile ottenere una classifica affidabile che mette in evidenza sia l’ASR che l’over‑refusal, evitando illusioni dovute a differenze casuali.

Le aziende che devono scegliere un modello per applicazioni sensibili – banking, HR o gestione documentale – possono ora basare la decisione su dati concreti, piuttosto che su promesse di “maggiore sicurezza”. Il framework è open‑source, modulare e pronto a evolversi con i prossimi rilasci di LLM, garantendo che la valutazione rimanga sempre al passo con la rapida evoluzione del settore.