Introduzione al problema della fiducia nell’IA

Quando si conversa con un amico di persona, la fiducia nasce dal contatto visivo, uditivo e fisico. Con un modello di intelligenza artificiale, invece, l’utente non ha alcun meccanismo per accertarsi che la risposta provenga effettivamente dal modello dichiarato. Un servizio di routing può sostituire il modello per ridurre i costi o un attaccante può manipolare il flusso di token senza che l’output tradizionale lo riveli.

Questa lacuna è particolarmente rilevante per valutatori indipendenti, clienti che pagano per un modello specifico e per la sicurezza contro attacchi di falsificazione. La verifica tradizionale richiederebbe l’accesso ai pesi del modello e una capacità computazionale pari a quella necessaria per eseguire il modello stesso, cosa impraticabile per la maggior parte degli utenti.

Obiettivo della provabile inferenza (PI)

La provabile inferenza (Provable Inference, PI) mira a consentire a un utente con risorse limitate di verificare che una risposta sia stata generata dal modello richiesto, senza conoscere né i pesi né l’architettura. Oltre a rafforzare la fiducia dei clienti, la PI può servire come strumento di compliance per dimostrare il rispetto di impegni legali o di politiche di “pacing” dell’IA.

Zero‑knowledge succinct arguments (zkSNARK) come soluzione

Un metodo pratico per implementare la PI è l’utilizzo di un zero‑knowledge succinct argument of knowledge (zkSNARK). Il provider del modello accompagna ogni risposta con una breve prova crittografica, di pochi megabyte, verificabile in pochi secondi su CPU. Se la risposta non corrisponde al modello dichiarato, la verifica fallisce. Crucialmente, la prova non rivela nulla sui pesi del modello.

Il progetto FlashProve, presentato da Anthropic e partner accademici, è un prototipo open‑source che dimostra la fattibilità pratica di zkSNARK per l’inferenza dei grandi modelli linguistici.

Caratteristiche tecniche di FlashProve

    • Modello testato: Llama 4 Maverick, 400 billion‑parameter mixture‑of‑experts.
    • Quantizzazione: 4‑bit per ridurre la dimensione dei pesi.
    • Hardware: una singola GPU NVIDIA H100.
    • Velocità di generazione: circa 110 token al secondo.
    • Dimensione della prova: circa 19 MB per richiesta di 1 024 token.
    • Efficienza: la generazione della prova richiede 70‑95× meno tempo rispetto all’esecuzione del modello con vLLM, una libreria open‑source comune.

Questi risultati superano di gran lunga le prestazioni di sistemi open‑source precedenti, che risultavano “ordini di grandezza più lenti”, come discusso nella sezione 6 del rapporto tecnico.

Sviluppi crittografici e verifiche formali

Claude, il team di ricerca interno di Anthropic, ha introdotto miglioramenti innovativi sugli zkSNARK applicati all’inferenza, combinando strumenti all’avanguardia della crittografia con principi di progettazione consolidati. L’obiettivo principale è nascondere i pesi del modello; nascondere l’architettura non è stato considerato necessario per questo sistema.

Data la complessità delle ottimizzazioni, il team ha fornito affermazioni verificabili a livello superiore in Lean, un linguaggio di verifica formale, per garantire le promesse di sicurezza dichiarate. Questo approccio consente a terzi di auditare le proprietà crittografiche senza dover ricostruire l’intero sistema.

Artefatti rilasciati

    • Il blog post corrente, che descrive il sistema e le sue potenziali applicazioni.
    • Un rapporto tecnico dettagliato.
    • Una specifica di protocollo scritta da Claude.
    • Codice eseguibile che include:
      • Un prover.
      • Due verificatori, uno veloce in C++ e uno provatamente corretto in Lean.
    • Prove in Lean per le affermazioni matematiche di alto livello, con un visualizzatore interattivo per facilitare l’audit.

Tutto il codice, le prove Lean e la documentazione sono rilasciati sotto licenza Apache 2.0, invitando la comunità a contribuire e migliorare.

Implicazioni per la sicurezza e la regolamentazione

La capacità di dimostrare, in modo verificabile, che una risposta provenga da un modello specifico ha molteplici ricadute:

    • Pacing dell’IA: autorità di regolamentazione possono monitorare che le risorse hardware siano destinate all’inferenza anziché all’addestramento di modelli più potenti.
    • Garanzie di integrità per i clienti: le imprese possono offrire certificati di provenienza dei token, riducendo il rischio di frodi o sostituzioni non autorizzate.
    • Strumenti per auditor e regolatori: le prove zkSNARK forniscono un meccanismo standardizzato per verificare il rispetto di obblighi legali o contrattuali.
    • Difesa contro attacchi: un attaccante che manipola il flusso di token non può produrre una prova valida, rendendo più difficile la falsificazione.

Queste applicazioni si inseriscono in un più ampio contesto di “trust challenges” legate alla proliferazione dell’IA, dove la trasparenza e la verificabilità diventano requisiti fondamentali.

Prospettive future e invito alla collaborazione

Il team sottolinea che il presente lavoro rappresenta un “intermediate progress” e non una soluzione completa. L’obiettivo è stimolare la ricerca e lo sviluppo di soluzioni più efficienti, scalabili e user‑friendly. Gli autori invitano ricercatori, sviluppatori e organizzazioni a esaminare il codice, a proporre ottimizzazioni e a estendere il modello a diverse architetture e configurazioni di quantizzazione.

In sintesi, FlashProve dimostra che le prove zero‑knowledge possono essere pratiche anche per modelli di dimensioni centinaia di miliardi di parametri, aprendo la strada a un ecosistema di IA più trasparente, sicuro e regolamentabile.