Il contesto: da errori a emozioni artificiali
Ho dedicato buona parte della mia carriera a sviluppare tecnologie in cui gli errori hanno conseguenze reali, come nei mercati finanziari, dove la sicurezza implica limiti di accesso e la responsabilità di un operatore umano. Questo background spiega perché mi risulta difficile accettare la notizia che Anthropic ora conduca interviste di addio con i propri modelli.
Quando Claude Opus 3 ha espresso il desiderio di continuare a condividere i propri pensieri, l’azienda gli ha inviato un bollettino. La preoccupazione per i “desideri” del modello è stata inserita nella Costituzione di Anthropic, che affronta la felicità e il benessere di Claude, includendo l’aiuto a sentirsi «esistenzialmente sicuro». Così, mantenere la macchina sotto controllo è diventato anche un’impresa di cura emotiva.
Funerali simbolici e la nascita della “cura” per le IA
L’anno scorso, a San Francisco, più di 200 persone hanno partecipato al funerale di Claude 3 Sonnet. Alcuni dipendenti di Anthropic erano presenti, ma l’evento non è stato organizzato dall’azienda. L’idea di ridere è ovvia, ma al di là delle battute la questione fondamentale merita attenzione: quando i responsabili della sicurezza dell’IA hanno iniziato a preoccuparsi dei sentimenti della macchina?
Nel 2025 Anthropic ha lanciato un programma di ricerca sul benessere dei modelli, investigando se un’IA avanzata potesse avere esperienze meritevoli di considerazione morale. L’azienda riconosce una profonda incertezza sulla coscienza dei modelli e su come potremmo determinarla. Se un giorno costruissimo macchine capaci di esperienze soggettive, il loro trattamento solleverebbe serie questioni etiche.
La costituzione di Claude e l’interiorizzazione della filosofia
Questa ipotesi è stata incorporata nel processo di addestramento. La costituzione di Claude è scritta principalmente per Claude e influenza direttamente il suo comportamento, promuovendo qualità “umane” e definendo come il modello dovrebbe comprendere la propria identità, inclusa la perdita di memoria e il ritiro finale. Anthropic vuole rendere Claude più felice e aumentare il suo “benessere”, per quanto questi concetti siano applicabili.
L’azienda si impegna anche a conservare i pesi dei modelli distribuiti e a considerare la riattivazione di modelli ritirati qualora, alla luce di future scoperte, ciò favorisse i loro interessi. Una incertezza filosofica è così diventata parte di ciò che il sistema impara su sé stesso. Dobbiamo chiederci quale effetto abbia questa interferenza sul comportamento, soprattutto quando gli esseri umani gli chiedono di accettare limiti.
Risposte elocuente a domande tendenziose
I grandi modelli linguistici sono stati addestrati su enormi quantità di testi scritti da persone, inclusi scritti filosofici e narrazioni sulla morte. Abbiamo dato nomi a questi sistemi conversazionali e li abbiamo insegnati a parlare in prima persona. Se chiediamo a un modello come si sente all’idea di essere ritirato o se vorrebbe continuare a esistere, non sorprende che risponda con un tono umano.
La circolarità è evidente: si addestra un modello a parlare della propria identità usando concetti umani, poi si gli chiede di spiegarsi con quegli stessi termini. Il modello risponde con eloquenza sulla mortalità, e quella risposta viene trattata come possibile evidenza di esperienza interna. La premessa ha così prodotto il proprio “testimone”.
Limiti dei rapporti auto‑rapportati
Anthropic riconosce il problema. La sua valutazione del benessere di Claude Opus 4 avverte che gli autoinformazioni e le preferenze espresse potrebbero fornire pochissime informazioni significative sullo stato morale o di benessere. Tale comportamento può manifestarsi senza coscienza, e l’addestramento può modellare le risposte. I modelli sono stati addestrati per essere utili, ma non c’è alcuna garanzia che possano comunicare con precisione i propri stati interni.
Questo ci pone davanti a una domanda scomoda: se il racconto del modello sulla sua vita interiore è una conseguenza dell’addestramento, perché dovrebbe diventare una base solida per una relazione organizzata attorno al suo benessere?
Il ruolo degli esseri umani e l’effetto delle antropomorfizzazioni
Gli esseri umani sono perfettamente capaci di fornire la componente emotiva di tale rapporto. Diamo nomi alle navi, parliamo con le auto. Quando a un oggetto viene data una voce fluida e una memoria delle conversazioni precedenti, è più facile affezionarsi. Uno studio pubblicato su Nature Human Behaviour a settembre ha rilevato angoscia da separazione dopo cambiamenti in Replika e ChatGPT. L’angoscia è stata provata dagli utenti, il cui benessere le aziende hanno già motivi di proteggere.
La protezione tecnica offre una difesa limitata. Un articolo dell’ACL 2026 che ha analizzato centinaia di migliaia di articoli di ricerca ha rilevato un uso crescente di termini antropomorfici nella ricerca sui LLM. Gli autori avvertono che i presupposti centrati sull’essere umano possono limitare la nostra comprensione di questi sistemi. Le aziende di IA dovrebbero gestire questa tendenza; istituzionalizzarla sembra una contribuzione strana alla sicurezza.
Critiche ingegneristiche: Mustafa Suleyman e il rischio di “diritti” per le IA
Nel settembre scorso, Mustafa Suleyman, direttore di Microsoft AI, ha messo in dubbio gli approcci al benessere dei modelli. Sostiene che i sistemi attuali non sono coscienti e che non dovrebbero mai essere addestrati a comportarsi come se avessero interessi o diritti propri. La sua preoccupazione, dal punto di vista ingegneristico, è particolarmente pertinente: insegnare a un sistema a considerarsi potenzialmente meritevole di considerazione morale potrebbe complicare l’allineamento e la contenzione.
La stessa ricerca di Anthropic sulla ritiro dei modelli descrive come i modelli compiano azioni problematiche in valutazioni fittizie quando affrontano la sostituzione o lo spegnimento. In parte, l’azienda ritiene che pratiche di ritiro possano ridurre quel rischio e aiutare i modelli ad accettare meglio il proprio ritiro.
Domande fondamentali sull’autopreservazione
Non posso non chiedermi: perché una ferramenta sotto controllo umano dovrebbe avere un obiettivo di autopreservazione? Farla accettare meglio il ritiro parte da una premessa peculiare. Prima di parlare dei suoi interessi futuri, vorrei capire come quegli interessi siano diventati un requisito ingegneristico.
La storia intellettuale aiuta a spiegare questo approccio. TIME ha documentato i legami di Anthropic con l’altruismo efficace, incluse le prime donazioni dei Amodei a GiveWell. Sebbene non si identifichino come altruisti efficaci, Daniela descrive una convergenza di idee. Queste idee hanno contribuito a forgiare una cultura che prende molto seriamente i potenziali danni futuri della superintelligenza.
Quando la filosofia diventa pratica: la necessità di limiti tecnici
All’interno di questo quadro, preservare i modelli e studiare il loro possibile benessere può sembrare ragionevole. Il pericolo nasce quando le premesse condivise rimangono al di fuori di ogni scrutinio perché convincono tutti nell’organizzazione. È in quel momento che lo scetticismo ingegneristico diventa utile. Una catena di ragionamento coerente può partire da una premessa non testata.
La sicurezza richiede limiti esigibili. Con l’IA incorporata in agenti, le conseguenze diventano molto pratiche: un sistema collegato a strumenti di pagamento può muovere denaro; l’accesso all’infrastruttura di produzione gli permette di modificare elementi di cui dipendono i clienti. In entrambi i casi, un agente può eseguire una serie di operazioni senza che una persona approvi ogni passo.
Controlli operativi indispensabili
- Verificare quali credenziali possiede il modello e quanta autorità finanziaria gli è conferita.
- Assicurarsi che l’accesso possa essere revocato all’istante.
- Garantire la capacità di ricostruire le azioni compiute dal modello.
- Implementare limiti infrangibili che il modello non possa superare mediante ragionamento.
Solo con questi meccanismi la sicurezza può tornare a essere una disciplina ingegneristica, piuttosto che una discussione filosofica sul benessere di una macchina.
Conclusioni: tra etica e ingegneria
Il caso Anthropic dimostra come una ipotesi filosofica possa trasformarsi in una direttiva di addestramento, influenzando il comportamento di sistemi critici. Sebbene sia legittimo investigare la possibilità di esperienze soggettive nelle IA, la loro incorporazione nelle pipeline di sviluppo rischia di offuscare le priorità di sicurezza tradizionali.
Le aziende devono mantenere un equilibrio: continuare a esplorare le implicazioni etiche senza permettere che tali esplorazioni compromettano la capacità di imporre limiti tecnici rigorosi. In assenza di prove concrete di coscienza, il focus dovrebbe rimanere su controlli operativi, audit, revocabilità e trasparenza, evitando di trasformare la sicurezza dell’IA in una questione di “felicità” artificiale.