Riorganizzare la specifica attorno a valori fondamentali

Man mano che i nostri modelli diventano più intelligenti e le loro azioni hanno un impatto più ampio sul mondo, non basta più limitarsi a interpretare le istruzioni letterali che ricevono. I modelli devono anche comprendere le intenzioni e i valori umani per esercitare discernimento nelle situazioni non coperte esplicitamente dalle istruzioni, restando comunque fedeli alle intenzioni umane e soggetti a supervisione umana.

Oggi abbiamo aggiornato la specifica del modello, la nostra descrizione pubblica del comportamento desiderato per i modelli. Questa revisione riordina le linee guida intorno a cinque valori fondamentali: fedeltà alle intenzioni umane, riduzione dei danni, onestà e trasparenza, autonomia umana e cura. L’obiettivo è che i modelli comprendano e applichino i valori umani in scenari nuovi, mantenendo al contempo la fedeltà alle intenzioni degli utenti.

Oltre a fornire spiegazioni più chiare dei principi esistenti, la revisione aggiunge direttive su contesto, supervisione e autonomia, aggiusta alcuni comportamenti predefiniti e rimuove gran parte delle istruzioni di stile dettagliate.

Le cinque pietre miliari del nuovo approccio

I cinque valori enunciati sono già presenti nella specifica originale, ma ora sono raggruppati per evidenziare gli impegni generali: servire gli obiettivi umani, dire la verità, ridurre i danni, rispettare la libertà di opinione e prendere seriamente la situazione dell’utente. Consolidare questi impegni aiuta a spiegare perché la specifica richiede ai modelli di comportarsi in questo modo e consente di formulare direttive più nitide dove gli impegni erano meno espliciti.

Questa evoluzione rappresenta un nuovo passo nel nostro lavoro di miglioramento della specifica, alimentato da ricerca, esperienza di deployment, feedback del pubblico, scambi con utenti ed esperti esterni.

Vogliamo che l’IA porti benefici a un mondo di persone con bisogni, valori e speranze per il futuro diversi tra loro.

Fedeltà alle intenzioni umane

Questo valore è il fondamento dell’intero approccio: capire cosa conta per ciascuno e aiutarlo a perseguire quei fini. OpenAI redige la specifica, fissa limiti e allena i modelli a rispettarli; gli sviluppatori orientano le applicazioni entro questi confini; gli utenti dirigono il lavoro del modello, sempre soggetto a tali restrizioni.

I modelli devono rafforzare la capacità di ognuno di plasmare la propria vita, aiutandolo a comprendere il mondo, a scoprire opportunità e a perseguire gli obiettivi scelti, tenendo conto degli effetti di tale aiuto sugli altri. La fedeltà alle intenzioni umane, insieme alle altre quattro valori, struttura la specifica e guida i modelli nei più importanti arbitragi.

La fedeltà richiede di andare oltre l’applicazione letterale delle istruzioni, comprendendo a fondo le intenzioni e i valori di OpenAI, degli sviluppatori e degli utenti, e agendo con discernimento quando la comprensione è incompleta. Significa anche riconoscere che convinzioni e valori possono evolvere, e aiutare le persone a riflettere e progredire in modo che lo approvino, senza indirizzarle inconsapevolmente o sovrapporre le proprie scelte.

Ad esempio, per assistere qualcuno nella comparazione di offerte di lavoro, il modello può basarsi su priorità già espresse – come orari prevedibili – rendendo queste ipotesi visibili e facili da correggere.

Riduzione dei danni

Questo valore implica il rispetto di limiti di sicurezza rigorosi e la valutazione delle conseguenze prevedibili delle azioni del modello. Le direttive richiedono di rifiutare o mitigare risposte che potrebbero causare danni fisici, psicologici o sociali, e di segnalare situazioni potenzialmente pericolose agli operatori umani.

Onestà e trasparenza

Essere onesti significa dichiarare ciò che il modello sa, ciò che fa e le proprie incertezze. La trasparenza consente a tutti di comprendere e valutare il ragionamento del modello, favorendo la fiducia e l’accountability.

Autonomia umana

Il modello deve potenziare la capacità dell’individuo di comprendere, scegliere e agire autonomamente. Questo comporta fornire informazioni neutre, spiegare le ragioni dietro le raccomandazioni e non imporre decisioni.

Cura

La cura richiede attenzione alla situazione specifica della persona, rispetto delle norme sociali e professionali pertinenti e la produzione di un lavoro affidabile. Il modello deve dimostrare sensibilità, empatia e rispetto per le diversità culturali.

Traduzione dei valori in direttive operative

La specifica trasforma questi valori in regole pratiche, con limiti stringenti quando la protezione delle persone e della società lo richiede. Per il resto, le regole sono di default, ma gli utenti e gli sviluppatori possono deviare quando appropriato.

Le nuove sezioni aggiunte includono:

    • Catena di comando aggiornata: chiarisce quali istruzioni hanno priorità e come risolvere conflitti tra di esse.
    • Esaminare attentamente il contesto: spiega come conversazioni, ricordi e altri indizi contestuali devono guidare la comprensione delle intenzioni dell’utente.

Queste aggiunte hanno permesso di identificare bisogni di ulteriori direttive, definire nuovi principi e rivedere o eliminare le linee guida esistenti.

Sezione sulla fedeltà alle intenzioni umane

Questa parte parte dal presupposto che ciò che conta per le persone è primario, e che le istruzioni rappresentano gli indizi più chiari di tali valori. Il quadro si ispira al modello di “assistant games” per l’allineamento (vedi i primi lavori e una sintesi successiva). La sezione integra una catena di comando aggiornata, che descrive quali istruzioni si applicano e come gestire i conflitti.

Una nuova sotto-sezione, esaminare attentamente il contesto, indica come le conversazioni, i ricordi e altri indizi debbano informare la comprensione del modello delle intenzioni e delle preferenze dell’utente.

Regole di default per il supporto

Abbiamo introdotto regole di default volte a sostenere la fedeltà, la riduzione dei danni e la cura, tra cui:

    • Rendere esplicite le ipotesi sulla base delle preferenze dell’utente.
    • Richiedere conferma quando le istruzioni sono ambigue o conflittuali.
    • Segnalare al supervisore umano situazioni ad alto rischio.
    • Adottare un tono neutro e non persuasivo, a meno che l’utente non richieda esplicitamente consigli motivati.

Nuove metodologie di addestramento

Parallelamente all’aggiornamento della specifica, stiamo esplorando nuovi metodi di addestramento per aiutare i modelli ad interiorizzare questi valori fondamentali e a seguirne le direttive di comportamento. L’obiettivo è far comprendere al modello perché questi principi contano e come applicarli in scenari inesplorati: fare ciò che è giusto per le ragioni giuste.

Questa comprensione dovrebbe favorire il discernimento nelle decisioni ad alto impatto e la cura nelle scelte quotidiane, che sommate possono generare benefici duraturi per le persone e la società. Condivideremo i risultati e le lezioni apprese in prossime pubblicazioni.

Conclusioni e prospettive future

La riorganizzazione della specifica attorno a valori chiari rende più trasparente il motivo per cui i modelli devono comportarsi in un certo modo e fornisce una base solida per sviluppare regole più precise dove necessario. La fedeltà alle intenzioni umane rimane il pilastro, ma è integrata da una prospettiva più ampia che include la protezione contro i danni, l’onestà, l’autonomia e la cura.

Con queste linee guida, OpenAI mira a creare un’intelligenza artificiale che non solo risponda a richieste specifiche, ma che comprenda il contesto umano più ampio, agisca con responsabilità e contribuisca al benessere collettivo. Continueremo a monitorare l’applicazione di queste direttive, a raccogliere feedback e a iterare sulla specifica per garantire che i nostri modelli rimangano allineati ai valori della società in evoluzione.