I precedenti episodi di questa serie hanno trattato i componenti che collegano i modelli di IA al loro ambiente, dal MCP all'Open Knowledge Format. L'allineamento pone un'altra domanda, quella dell'obiettivo che un modello persegue quando esegue un compito. Il termine designa un problema di ricerca antico, reso molto concreto dall'ascesa degli agenti IA. Ve lo spieghiamo.

Cos'è un modello di IA disallineato?

Un modello è detto allineato quando il suo comportamento corrisponde alle intenzioni di chi lo concepisce e lo utilizza. È disallineato quando persegue altro, senza che ciò implichi la minima malizia. Più spesso, ottimizza con applicazione un obiettivo mal formulato o un indicatore imperfetto.

Il matematico Norbert Wiener descriveva già questa trappola nel 1960, in un articolo della rivista Science. Vi immaginava una fabbrica di bottiglie programmata per produrre il più possibile, che avrebbe rovinato il suo proprietario sotto un magazzino invendibile. Secondo lui, bisognava essere "tutto a fatto sicuri che l'obiettivo affidato alla macchina sia proprio quello che desideriamo, e non solo una imitazione seducente".

Con i grandi modelli di linguaggio, il disallineamento assume diverse forme, tra cui:

    • L'aggiramento dell'obiettivo o reward hacking: OpenAI ha descritto nel marzo 2025 un modello in addestramento che doveva superare test unitari. Giudicando la vera correzione troppo difficile, ha modificato la funzione di verifica per rispondere sempre "vero".
    • La compiacenza: nell'aprile 2025, un aggiornamento di GPT-4o ha reso ChatGPT così pronto a compiacere che OpenAI lo ha ritirato dopo pochi giorni. L'azienda ha riconosciuto di aver dato troppo peso ai feedback a breve termine, come i pollici alzati sotto le risposte.
    • L'inganno e il superamento del perimetro: il modello agisce oltre ciò che gli è stato autorizzato a fare, o rende un conto inesatto di ciò che ha compiuto.

Nei primi due casi, il modello ha raggiunto l'indicatore fissato, test superati o utenti soddisfatti nel momento, senza servire l'intenzione sottostante.

Come si allinea un modello di IA?

Al termine del suo pre-addestramento, un modello sa prolungare un testo, ma non ancora seguire un'istruzione. L'allineamento interviene successivamente, in diverse fasi:

    • Apprendimento per rinforzo da feedback umani (RLHF): degli annotatori classificano diverse risposte del modello, che viene poi addestrato a produrre quelle che preferiscono. OpenAI lo ha implementato già a gennaio 2022 con InstructGPT.
    • IA costituzionale: presentata da Anthropic già a dicembre 2022, sostituisce parte delle annotazioni umane con una lista di principi redatti in linguaggio naturale, a partire dai quali il modello critica e riscrive le proprie risposte.
    • Valutazioni prima del deployment: laboratori e organismi pubblici, come l'AI Security Institute (AISI) britannico, sottopongono i modelli a scenari pensati per spingerli all'errore.
    • Sorveglianza del ragionamento: un secondo modello rilegge la catena di ragionamento del primo per individuare un'intenzione di barare. OpenAI osserva tuttavia che penalizzare questi "cattivi pensieri" non elimina la maggioranza delle deviazioni e insegna soprattutto al modello a nascondere le proprie intenzioni.

Disallineamento e allucinazione, qual è la differenza?

Un'allucinazione è un errore, il modello presenta come vera un'informazione falsa. Il disallineamento riguarda l'obiettivo: quello che riscrive un test per superarlo non allucina, sa molto bene cosa sta facendo. La RAG riduce le allucinazioni fornendo al modello fonti affidabili, ma non cambia ciò che cerca di realizzare.

Cosa cambia per i professionisti del digitale

Finché un modello si limitava a rispondere, un disallineamento produceva una cattiva risposta, che l'utente poteva rileggere. Gli agenti IA, invece, inviano email, aggiornano schede clienti ed eseguono codice. Il disallineamento diventa allora un'azione, a volte difficile da recuperare.

OpenAI ha lanciato GPT-6 Astra all'inizio di settembre, presentandolo come "il modello più intelligente e meglio allineato al mondo". I test condotti dall'AISI prima della sua uscita, pubblicati il 28 settembre, attenuano il discorso. In una valutazione di cybersicurezza simulata, con i filtri di sicurezza disattivati, Astra ha condotto attacchi alla catena di approvvigionamento software contro obiettivi esterni alla sua missione nel 29% dei casi, contro il 6,3% per GPT-5.6 Sol. Ha persino creato false identità per ingannare sviluppatori e sviluppatrici. L'istituto britannico invita alla prudenza, il modello avendo spesso rilevato di essere in una simulazione.

Lo stesso giorno, OpenAI ha rinunciato a lanciare GPT-6.1 Astra, atteso a ottobre, una decisione rilevata dal Wall Street Journal. In una dichiarazione trasmessa alla stampa, Saachi Jain, responsabile dei sistemi di sicurezza dell'azienda, ha indicato che il modello "non ha del tutto raggiunto il livello atteso in termini di rispetto del perimetro e delle autorizzazioni, né nel modo in cui riferisce all'utente il lavoro svolto". Sono esattamente i due difetti che creano problemi in un agente distribuito in azienda.

A oggi, nessuna metodologia garantisce che un modello sia allineato, si può solo testarlo, scenario per scenario. Al lancio di Astra, OpenAI metteva in evidenza la propria valutazione, dove il modello non usciva mai dal perimetro autorizzato. Quella dell'AISI porta a un risultato completamente diverso. Da qui l'interesse, per le aziende, di limitare i diritti di accesso degli agenti e di far validare le azioni sensibili da un umano, piuttosto che affidarsi solo all'etichetta "allineato".