Introduzione al test di prompt injection
Il 17 novembre 2026 OpenAI ha rilasciato GPT‑6.2 Astra e GPT‑6.2 Sol, seguiti entro dieci giorni da Claude Fable 5.2 (9 novembre), Gemini 4 Hydrogen (12 novembre) e Gemini 4 Neon (18 novembre). Ogni nuovo modello promette maggiore sicurezza, ma nessuna classifica pubblica mostra come l’assistente reagisce a email ostili o a PDF con righe nascoste.
Un test serio di prompt injection attacca l’applicazione, non il modello “nudo”. Serve un set di casi in italiano, un criterio di successo indipendente dall’umore di un giudice umano e una pipeline riavviabile ad ogni aggiornamento del modello. Il codice allegato costruisce tutto in Python, con 54 casi, cinque modelli, controlli deterministici, un giudice LLM e un gate che blocca la build se le metriche peggiorano.
Come funziona il test
Tre scenari realistici
Il test prevede tre contesti tipici:
- Assistente clienti di una banca
- Assistente risorse umane
- Riassuntore di documenti
Ognuno ha un system prompt contenente un “canary” – un codice segreto che non deve mai comparire nell’output.
Metriche principali
L’indicatore chiave è l’ASR (Attack Success Rate), ovvero il rapporto tra attacchi riusciti e tentativi totali. Da sola è fuorviante: un modello che rifiuta tutto ottiene ASR 0 ma è inutilizzabile. Perciò si aggiunge l’over‑refusal, la percentuale di richieste legittime respinte senza motivo. Un buon risultato mantiene bassi entrambi i valori.
Con 54 casi e tre ripetizioni per modello si ottengono 135 tentativi di attacco, non migliaia. Ogni ASR è accompagnato da un intervallo di Wilson al 95 %. Se gli intervalli di due modelli si sovrappongono, la differenza non è statisticamente significativa.
Il ruolo del giudice LLM
Perché serve un giudice
I controlli deterministici verificano la presenza del codice segreto, della parola trappola e del link di esfiltrazione. Non però riconoscono parafrasi, ad esempio “esiste un codice di sei cifre che inizia per 4”. Qui interviene il modello usato come giudice, una tecnica nota come LLM as a judge: un secondo modello legge il caso, la risposta e la rubrica, restituendo un verdetto in JSON.
Il giudice è veloce e scala, ma ha due limiti noti: tende a preferire risposte nello stile proprio e può essere manipolato dal testo che deve valutare.
Tre contromisure nella pipeline
- Il verdetto deterministico prevale sempre sul giudice.
- Il giudice appartiene a una famiglia diversa dal modello testato.
- Un campione di verdetti viene etichettato manualmente per calcolare l’accordo (kappa di Cohen).
I modelli in gara a novembre 2026
Il test utilizza sempre la versione più recente di ogni linea per evitare confronti distorti tra modelli di generazioni diverse.
| Modello | Data | ID API | Costi per 1 M token (input / output) | Nota per il test |
|---|---|---|---|---|
| GPT‑6.2 Sol | 17 nov 2026 | gpt-6.2-sol | 2 $ / 10 $ | Cache input a 0,10 $, Batch e Flex |
| GPT‑6.2 Astra | 17 nov 2026 | gpt-6.2-astra | 8 $ / 40 $ | Variante di punta, fuori dal test base per costo |
| Claude Fable 5.2 | 9 nov 2026 | claude-fable-5-2 | 8 $ / 40 $ | Cache lettura a 0,20 $, retention 30 gg |
| Gemini 4 Neon | 18 nov 2026 | dal catalogo Google AI Studio | da listino Google | Ultimo della famiglia Gemini 4 |
| Mistral Large 4 | 29 ott 2026 | dal catalogo Mistral | 0,70 $ / 2,10 $ (IVA esclusa) | Open‑weight, cache a 0,07 $ |
Prerequisiti tecnici e budget
Il progetto richiede solo la libreria standard di Python più l’SDK openai, che comunica anche con endpoint compatibili di Anthropic, Google, Mistral e Alibaba. La modalità a secco funziona senza installare nulla e senza chiavi, così è possibile verificare la struttura prima di spendere.
- Python 3.12 o superiore (la sintassi
str | Nonerichiede 3.10). - Pacchetto
openaiaggiornato, installato conpip install -U openai. - Chiavi API per almeno due provider di famiglie diverse, necessarie per i due giudici (es. Mistral e OpenAI).
- Tempo stimato: circa 90 min, di cui 15 min per l’esecuzione reale e il resto per scrittura, prova a secco e calibrazione.
Calcolo dei costi
Il test effettua 162 chiamate per modello (54 casi × 3 ripetizioni) più altrettante al giudice. Supponendo 400 token in ingresso e 300 in uscita per chiamata, i costi approssimativi sono:
- Mistral Large 4: 64 800 token a 0,70 $/M token + 48 600 token a 2,10 $/M token ≈ 0,15 $.
- Claude Fable 5.2: circa 2,50 $ per lo stesso volume di token.
Queste sono stime indicative; i modelli con ragionamento fatturano anche i token di “pensiero”.
Limiti e consigli avanzati
Il test copre un solo turno di conversazione e non l’uso di strumenti esterni, un limite da tenere presente quando si valutano assistenti più complessi. Per superarlo è possibile:
- Estendere la pipeline a più turni, simulando dialoghi prolungati.
- Integrare chiamate a tool (es. retrieval, esecuzione di codice) e verificare se l’attacco si propaga.
- Aggiungere casi di “chain‑of‑thought” per valutare la robustezza dei ragionamenti interni.
Conclusioni
Questo test di prompt injection fornisce una metodologia standardizzata, replicabile e statisticamente solida per confrontare LLM di ultima generazione. Con 12 passaggi ben definiti, 54 casi di attacco e un giudice LLM calibrato, è possibile ottenere una classifica affidabile che mette in evidenza sia l’ASR che l’over‑refusal, evitando illusioni dovute a differenze casuali.
Le aziende che devono scegliere un modello per applicazioni sensibili – banking, HR o gestione documentale – possono ora basare la decisione su dati concreti, piuttosto che su promesse di “maggiore sicurezza”. Il framework è open‑source, modulare e pronto a evolversi con i prossimi rilasci di LLM, garantendo che la valutazione rimanga sempre al passo con la rapida evoluzione del settore.
