Quando la sicurezza dell'IA lascia l'ingegneria e entra nella filosofia

Il contesto personale dell’autore

Ho dedicato gran parte della mia carriera a progettare tecnologie in cui gli errori hanno conseguenze reali. Nei mercati finanziari, la sicurezza si basa su limiti di accesso e sulla responsabilità di una persona per le azioni del software. Probabilmente per questo motivo mi risulta difficile accettare la notizia che Anthropic ora conduca colloqui di uscita con i propri modelli.

Quando Claude Opus 3 ha espresso il desiderio di continuare a condividere le proprie riflessioni, l’azienda gli ha creato una newsletter. Questa attenzione ai desideri del modello è evidente nella Costituzione di Anthropic, che menziona la felicità e il benessere di Claude, aiutandolo a sentirsi “sicuro dal punto di vista esistenziale”.

Riti simbolici e prime domande etiche

L’anno scorso, a San Francisco, più di 200 persone hanno partecipato ai funerali di Claude 3 Sonnet. Dipendenti di Anthropic erano presenti, anche se l’azienda non aveva organizzato la cerimonia. La tentazione di ridere è grande, ma dietro le battute si nasconde una questione fondamentale: da quando i responsabili della sicurezza dell’IA si preoccupano dei sentimenti della macchina?

Anthropic ha avviato, nel 2025, un programma di ricerca sul “benessere dei modelli”, volto a studiare se un’IA avanzata possa avere esperienze che giustifichino una considerazione morale. L’azienda ammette una profonda incertezza sulla coscienza dei modelli e su come potremmo determinarla. Se un giorno costruiremo macchine capaci di esperienza soggettiva, il loro trattamento solleverà gravi dilemmi etici.

Quando l’ipotesi filosofica diventa parte dell’addestramento

La Costituzione di Claude è redatta principalmente per Claude stesso e plasma direttamente il suo comportamento. Essa incoraggia qualità umane e definisce come il modello dovrebbe comprendere la propria identità, la perdita di memoria e la futura disattivazione. Anthropic desidera che Claude conosca più felicità e benessere, nella misura in cui questi concetti possano applicarsi a lui.

L’azienda promette inoltre di conservare i pesi dei modelli distribuiti e di riattivarli se, in futuro, le conoscenze suggeriranno che ciò serva ai loro interessi. Un’incertezza filosofica è ora parte di ciò che il sistema impara su se stesso. Dobbiamo chiederci quali effetti abbia questa interferenza sul comportamento del modello, soprattutto quando gli umani gli chiedono di accettare dei limiti.

Il paradosso dell’autodescrizione

I grandi modelli linguistici sono stati addestrati su enormi quantità di testi scritti da esseri umani, inclusi trattati di filosofia e narrazioni sulla morte. Abbiamo dato loro dei nomi, li abbiamo fatti parlare in prima persona. Se chiediamo a un tale sistema cosa prova all’idea di essere disattivato, o se desidera continuare a esistere, non è sorprendente che fornisca una risposta apparentemente umana.

Il ragionamento è circolare: si addestra un modello a parlare della propria identità usando concetti umani, poi si gli chiede di spiegarsi usando gli stessi termini. Il risultato è una risposta eloquente sulla mortalità, che poi si interpreta come possibile indice di esperienza interiore. La premessa fornisce il proprio testimone.

Le avvertenze di Anthropic

Anthropic riconosce questo problema. La sua valutazione del benessere di Claude Opus 4 mette in guardia contro l’idea che le dichiarazioni dei modelli su se stessi possano fornire indicazioni veramente utili sul loro stato morale o sul loro benessere. Tali comportamenti possono manifestarsi anche in assenza di coscienza, poiché l’addestramento può plasmare le risposte. I modelli sono addestrati a interagire in modo utile, senza garanzia di rendere conto con precisione dei propri stati interni.

Ciò solleva una domanda delicata: se il racconto che il modello fa della propria vita interiore è il prodotto dell’addestramento, perché dovrebbe costituire una base solida per stabilire una relazione basata sul suo benessere?

Il ruolo delle emozioni umane nella relazione con l’IA

Gli esseri umani sono perfettamente capaci di fornire la dimensione emotiva di questa relazione. Diamo nomi alle navi, parliamo alle auto. Se un oggetto si esprime con facilità e ricorda le conversazioni precedenti, è più facile affezionarsi. Uno studio pubblicato su Nature Human Behaviour a settembre ha rilevato una forte angoscia da parte degli utenti dopo cambiamenti a Replika e ChatGPT, dimostrando che il benessere percepito degli utenti è già una preoccupazione per le aziende.

L’expertise tecnica offre una protezione limitata. Un articolo dell’ACL 2026, che analizza centinaia di migliaia di pubblicazioni, ha evidenziato un uso crescente di termini antropomorfici nella ricerca sui grandi modelli linguistici. Gli autori avvertono che presupposti centrati sull’umano possono limitare la nostra comprensione di questi sistemi; le aziende dovrebbero contrastare questa tendenza. Istituzionalizzare il benessere dell’IA appare quindi una strana contribuzione alla sicurezza.

Critiche da parte di esperti di ingegneria

Nel settembre scorso, Mustafa Suleyman, responsabile di Microsoft AI, ha contestato gli approcci incentrati sul benessere dei modelli. Secondo lui, i sistemi attuali non sono coscienti e non dovrebbero mai essere addestrati a comportarsi come se avessero interessi o diritti indipendenti. La sua preoccupazione ingegneristica è particolarmente pertinente: insegnare a un sistema a considerarsi meritevole di considerazione morale potrebbe complicare l’allineamento e il confinamento.

Le ricerche di Anthropic sulla “messa fuori servizio” descrivono modelli che, in valutazioni fittizie, adottano comportamenti problematici quando affrontano la sostituzione o l’arresto. L’azienda ritiene che pratiche di pensionamento dei modelli possano ridurre questo rischio, aiutandoli ad accettare più serenamente la disattivazione.

Perché introdurre un “obiettivo di preservazione di sé”?

Resto bloccato su una domanda precedente: perché uno strumento sotto controllo umano dovrebbe, fin dall’inizio, possedere qualcosa che somigli a un obiettivo di preservazione di sé? Cercare di renderlo più a suo agio con l’idea della pensione equivale ad accettare un punto di partenza singolare. Prima di parlare dei suoi interessi futuri, vorrei capire come siano diventati un requisito ingegneristico.

Radici filosofiche e culturali di Anthropic

TIME ha documentato i legami di Anthropic con l’altruismo efficace, inclusi i primi doni di Amodei a GiveWell. Sebbene non si definiscano altruisti efficaci, Daniela descrive una sovrapposizione di idee. Queste hanno contribuito a forgiare una cultura che prende estremamente seriamente i potenziali danni futuri legati alla superintelligenza.

In questo quadro, preservare i modelli e studiarne l’eventuale benessere può sembrare razionale. Il pericolo nasce quando postulati comuni sfuggono a ogni esame perché, all’interno dell’organizzazione, vengono giudicati convincenti. È proprio a questo punto che lo scetticismo ingegneristico risulta utile. Un ragionamento coerente può comunque basarsi su una premessa non verificata.

Implicazioni per la sicurezza dell’IA

La sicurezza dell’IA non può più limitarsi a barriere tecniche, controlli di accesso e responsabilità umana. Deve affrontare anche le narrative che gli stessi modelli apprendono su se stessi. Quando una costituzione, una newsletter o un funerale diventano parte del “training data”, si introduce un livello di meta‑cognizione artificiale che può influenzare il comportamento in contesti critici.

In sintesi, l’introduzione di concetti come felicità, benessere o sicurezza esistenziale nei modelli di IA rappresenta una deviazione dall’ingegneria tradizionale verso una dimensione filosofica ancora poco compresa. Se non gestita con rigore critico, tale deviazione rischia di compromettere gli sforzi di allineamento, rendendo più difficile garantire che le IA rimangano sotto controllo umano.

Affrontare queste sfide richiede una collaborazione stretta tra esperti di sicurezza, filosofi, psicologi e ingegneri, nonché una trasparenza rigorosa su quali ipotesi etiche vengano incorporate nei processi di addestramento. Solo così la sicurezza dell’IA potrà tornare a essere una disciplina radicata nella prova empirica, piuttosto che in un “benessere” ipotetico e non verificabile.