Introduzione a Kiji Inspector

Hannes Hapke, direttore dell’ingegneria di Dataiku, insieme al 575 Lab, ha presentato Kiji Inspector, un framework open source progettato per spiegare perché un agente di intelligenza artificiale sceglie uno specifico strumento durante l’esecuzione di un compito.

Il framework si concentra sul “token di decisione” prodotto dall’agente quando decide di utilizzare uno strumento, superando i limiti delle tecniche tradizionali basate su prompt engineering, test comportamentali o tracciamenti della catena di pensiero, che descrivono il comportamento senza dimostrare la causa.

Come funziona il modello

Kiji Inspector addestra autoencoder sparsi (sparse autoencoders) sulle attivazioni di modelli di linguaggio open source. L’obiettivo è isolare le caratteristiche latenti che determinano la selezione dello strumento, forzando la maggior parte delle caratteristiche a zero e ricostruendo l’attivazione originale.

Il pipeline di addestramento popola uno spazio latente ampio con le attivazioni del modello, applica una penalizzazione di sparsità e ricostruisce le attivazioni per evidenziare le caratteristiche più rilevanti.

Metodo di analisi e sperimentazione

Gli ingegneri confrontano coppie di prompt contrastanti che condividono la stessa intenzione ma richiedono strumenti diversi, ad esempio una ricerca in una base di conoscenza rispetto a una ricerca di ticket. Le differenze nelle caratteristiche attive rivelano i segnali associati a ciascuna scelta.

Hapke ha descritto due tecniche chiave:

    • Fuzzing a livello di token, basato sui lavori di EleutherAI, che introduce variazioni controllate nei token per osservare l’impatto sulle attivazioni.
    • Ablazione causale, che imposta a zero le principali attivazioni durante l’inferenza per verificare se il modello cambia la sua decisione di strumento.

Dataiku ha progettato Kiji Inspector per l’uso in produzione, pubblicando i modelli addestrati su Hugging Face (inclusi Gemma 4 e NVIDIA Nemotron 3), distribuendo un pacchetto Python e fornendo container Docker.

Integrazione tecnica

Le squadre possono estrarre le attivazioni tramite hook forward nella libreria Transformers o eseguire una versione modificata del motore vLLM che restituisce contemporaneamente le attivazioni di livello e il testo generato.

Un tipico flusso di lavoro cattura l’attivazione di uno strato scelto, la passa attraverso l’autoencoder sparso e associa gli indici con i punteggi più alti a temi leggibili dall’uomo. Hapke ha mostrato un esempio di prompt di riparazione domestica in cui le caratteristiche attivate erano legate a problemi di guarnizione della lavastoviglie.

In un esperimento su Nemotron 3, il team ha selezionato lo strato 20, espandendo 2 688 dimensioni d’ingresso a 10 000 caratteristiche e identificando 668 caratteristiche pertinenti per la selezione degli strumenti.

Applicazioni pratiche

Kiji Inspector può essere inserito nei workflow degli agenti che invocano strumenti esterni, consentendo:

    • Diagnostico di comportamenti anomali quando l’agente sceglie lo strumento sbagliato.
    • Validazione delle modifiche ai prompt prima del rilascio in produzione.
    • Monitoraggio della deriva del modello man mano che i dati in ingresso cambiano gli schemi di attivazione.
    • Fornitura di prove per le squadre di conformità, collegando la scelta dello strumento a segnali interni del modello, superando le semplici tracce di log.

Durante la dimostrazione, Hapke ha mostrato un’ispezione passo‑a‑passo di un agente di assistenza domestica. Ogni chiamata a uno strumento era accompagnata da una descrizione delle caratteristiche attivate, indicando se il modello stava ragionando nel contesto corretto. Le lacune nella copertura delle caratteristiche hanno evidenziato casi di training mancanti, come un prompt per una ricerca su YouTube privo di segnali associati.

Limiti e compromessi

Il framework richiede l’accesso ai pesi e alle attivazioni del modello, perciò non è applicabile a modelli chiusi di fornitori come OpenAI.

L’addestramento degli autoencoder sparsi comporta un consumo significativo di risorse computazionali e, al momento, il dataset di base è costituito da prompt sintetici.

Nonostante ciò, Hapke ha riportato risultati causali solidi per 23 tipi di contrasto nei test, sebbene alcuni strumenti abbiano mostrato prove più deboli.

Prospettive future

Dataiku intende ampliare la copertura a più modelli e strati, esplorare l’analisi multistrato e testare il trasferimento intermodello. Per le organizzazioni che eseguono agenti open source in produzione, Kiji Inspector fornisce un metodo per ispezionare il routing degli strumenti con prove direttamente collegate allo stato interno del modello.

In sintesi, Kiji Inspector rappresenta un passo significativo verso la “black‑box opening” delle decisioni degli agenti IA, offrendo strumenti pratici per la spiegabilità, il debugging e la conformità in contesti reali.