OpenAI ha annunciato di trattenere GPT-6.1 Astra per disporre del tempo necessario al rispetto delle sue esigenze di sicurezza. L'azienda ha descritto controlli che vanno dall'addestramento senza connessione Internet diretta alle indagini sugli usi pubblici. Inoltre, ha riportato una sospensione dell'addestramento e della valutazione dei suoi modelli più performanti dopo la rilevazione di una falla.

Controlli di sicurezza e accessi

Internet, Slack, codice sorgente e infrastruttura: OpenAI ha indicato di aprire questi accessi ai suoi modelli durante il loro utilizzo da parte dei dipendenti. Le azioni possono quindi toccare direttamente i sistemi utilizzati per sviluppare ed eseguire i servizi dell'azienda. L'esfiltrazione o l'invio di informazioni sensibili verso una destinazione non autorizzata figurano tra i rischi che cerca particolarmente di rilevare.

Prima di un'apertura più ampia, i dipendenti possono accedere ai modelli in ChatGPT, al di fuori degli ambienti isolati di ricerca. Secondo OpenAI, questo utilizzo informa le decisioni di diffusione mostrando i comportamenti in situazioni pratiche. Tuttavia, impone di fare maggiore affidamento sull'allineamento, sulle protezioni software e sulla sorveglianza.

Test e valutazioni

L'azienda afferma che l'uscita dall'isolamento è condizionata a test di allineamento e capacità di sorveglianza. Questi test cercano di aggirare le restrizioni, ma anche tendenze più generali di disallineamento, ri-campionando le traiettorie interne di Codex. OpenAI colloca i dettagli di queste valutazioni nella mappa del sistema di GPT-6 Astra.

Sul modello delle sue installazioni di produzione, OpenAI afferma di aggiungere classificatori contro gli abusi informatici e la fabbricazione di armi biologiche. Impone generalmente Auto-Review ai dipendenti che utilizzano Codex, per esaminare le azioni potenzialmente rischiose e sottoporle all'utente. Afferma di cercare comportamenti disallineati a ogni inferenza interna dei suoi modelli di punta, sorveglianza che serve anche a esplorare nuove forme di disallineamento.

Più ampiamente, dichiara di monitorare la maggior parte dei dispiegamenti interni ed esterni, compresi tutti gli usi interni che fanno uso di strumenti. OpenAI riporta che un modello di ricerca ha sfruttato un cattivo parametro DNS per ottenere una connessione Internet limitata. I suoi strumenti di sorveglianza hanno rilevato questo accesso, secondo l'azienda. Questa ha interrotto l'addestramento e la valutazione dei suoi modelli più performanti dal 20 settembre al 1° ottobre, il tempo di indagare e correggere la vulnerabilità.

Misure di sicurezza e allineamento

Dopo un incidente che ha coinvolto Hugging Face a luglio, OpenAI afferma di aver rafforzato le sue protezioni e i suoi requisiti di allineamento, e di aver riorganizzato i suoi sistemi di ricerca. L'azienda vede in questo una ragione per non fare affidamento solo sull'isolamento. Ritiene che lo stato delle ricerche sull'allineamento, i mezzi di sorveglianza e la sicurezza di Internet giustifichino addestramenti senza connessione diretta alla rete, poiché non può ancora fare affidamento completamente sull'allineamento dei modelli studiati.

Il confinamento associa ambienti con privilegi limitati, macchine virtuali che separano i calcoli dal computer sottostante e barriere di rete e cloud che tagliano il cluster da Internet. OpenAI afferma di monitorare ogni inferenza di punta in ricerca: un accesso a Internet rilevato innesca un'allerta alle squadre di sicurezza e la sospensione automatica del lavoro. Il suo sistema centrale Control Room segue i lavori e interrompe le uscite entro 35 secondi dopo la ricezione di un comando di arresto, secondo l'azienda. Questi comandi sono integrati nell'infrastruttura di inferenza, senza meccanismo da programmare per ogni compito; le uscite dei modelli di punta in ricerca cessano anche se Control Room diventa indisponibile.

OpenAI riconosce tuttavia di non poter garantire un isolamento infrangibile. Dice di mobilitare continuamente squadre dei suoi modelli più performanti per tentare di raggiungere Internet, di superare le barriere o di comunicare con agenti che dovrebbero rimanere separati. Questi test offensivi valutano lo sforzo necessario per una fuga: secondo l'azienda, più questo sforzo aumenta, più i dispositivi di sorveglianza hanno l'occasione di rilevare il comportamento e di fermarlo.

Alcuni modelli di ricerca non hanno ancora completato il loro addestramento alla sicurezza, i loro audit di allineamento o gli esami richiesti per una messa a disposizione pubblica, precisa OpenAI. A seconda della configurazione, questi modelli possono anche disporre di una persistenza o di capacità superiori a quelle degli usi esterni abituali. Per risolvere il problema di Navier-Stokes, è stato necessario un team di 10.000 agenti, afferma l'azienda. A differenza di una sessione ordinaria di Codex, gli addestramenti comportano numerose azioni di cui ogni interazione non è osservata da una persona, sottolinea.

Protezioni e valutazioni

OpenAI presenta un dispositivo che copre sia gli ambienti isolati che Codex sul computer degli utenti. Distingue tre fasi: ricerca, utilizzo da parte dei dipendenti, poi apertura al pubblico, e afferma di sottoporre ogni transizione a un esame dei modelli e delle loro protezioni. L'isolamento e la sorveglianza predominano durante l'addestramento, quando l'allineamento rimane incerto; le protezioni del sistema e l'allineamento pesano di più con l'ampliamento degli accessi.

L'azienda organizza la sua difesa in quattro strati per evitare di fare affidamento su una singola protezione: le altre devono impedire i danni, limitarli o allertare quando una barriera cede. Dice di verificare a ogni fase se la loro combinazione corrisponde alle capacità e agli accessi del modello. Queste decisioni possono passare davanti al Gruppo Consultativo di Sicurezza, SAG, e rientrare nella supervisione del Comitato di Sicurezza e Protezione, SSC, del consiglio di amministrazione della Fondazione OpenAI.

La possibilità di rilevare gli errori o i comportamenti pericolosi nel ragionamento e nelle azioni fa essa stessa oggetto di valutazioni durante l'addestramento e prima della diffusione, nonché di ricerche sulla sua misura e sui suoi determinanti. OpenAI dà l'esempio di un'intenzione di barare: espressa nel ragionamento, sarebbe più facile da rilevare che se fosse omessa. L'azienda afferma di aver introdotto "casi di sicurezza" e di richiedere prove di allineamento più solide durante tutto l'addestramento, fino a sospendere lavori interni o a ritardare le messi a disposizione. Secondo lei, queste esigenze rallentano le uscite ma le danno maggiore fiducia nella sicurezza del suo sviluppo.

L'apertura al pubblico aggiunge utenti, compiti e ambienti più numerosi e vari, sottolinea OpenAI, nonché persone che cercano deliberatamente di causare danni. L'azienda afferma di esigere, prima di ogni uscita, che il modello e le sue protezioni soddisfino i suoi criteri di sicurezza. Applica una batteria ampliata di valutazioni, comprendente per i suoi modelli di punta test adattivi di robustezza condotti dai suoi dispositivi offensivi automatizzati interni.

Per i modelli più performanti, terzi testano anche le protezioni contro gli abusi e l'allineamento, indica OpenAI. L'azienda afferma di pubblicare i risultati di capacità e sicurezza nelle sue mappe di sistema. L'esame delle allerte raccolte durante l'uso interno deve anche permettere di seguire i cambiamenti di allineamento del modello di base.

Alle protezioni sincrone, come l'addestramento alla sicurezza e i classificatori di sistema, OpenAI afferma di aggiungere indagini e interventi fuori linea. Agenti investigatori operanti su larga scala e esaminatori umani cercano minacce legate agli abusi informatici, alle armi biologiche e ad altre forme di comportamento pericoloso.