Accordi e obiettivi della prima fase
OpenAI ha annunciato lunedì la firma di accordi con quattro valutatori esterni — Apollo Research, METR, Transluce e Goodfire — per avviare la prima fase delle sue valutazioni di sicurezza integrate. Gli enti avranno accesso approfondito ai modelli e ai sistemi interni di OpenAI per verificare l’allineamento e l’efficacia delle salvaguardie su un periodo prolungato.
L’accesso previsto comprende punti di controllo del modello, codice sorgente, dati di addestramento e valutazione, sistemi di monitoraggio, documentazione tecnica e discussioni dirette con i ricercatori e gli ingegneri responsabili.
Compiti specifici dei valutatori
Apollo Research
Apollo valuterà la possibilità che i modelli possano agire in segreto contro le intenzioni dei loro sviluppatori e se le salvaguardie di OpenAI siano in grado di rilevare tale comportamento.
Goodfire
Goodfire inserirà ricercatori di interpretabilità per analizzare gli aspetti interni dei modelli, concentrandosi sul monitoraggio delle esecuzioni di addestramento, il lavoro di debug e l’allineamento. I risultati saranno pubblicati progressivamente durante la collaborazione.
METR
METR esaminerà il comportamento disallineato nella più grande esecuzione di apprendimento per rinforzo di OpenAI finora, includendo fallimenti non catturati dai test e dai monitor esistenti. È stato raggiunto un accordo preliminare per una seconda valutazione più ampia dei monitor di METR, in attesa di definire l’ambito.
Transluce
Transluce valuterà la qualità e la copertura delle valutazioni di allineamento post‑addestramento di OpenAI. Le due parti hanno pianificato una valutazione di follow‑up di circa otto settimane all’inizio del 2027.
Modalità operative e pubblicazione dei risultati
I valutatori che necessitano di informazioni sensibili lavoreranno negli uffici di OpenAI su dispositivi forniti dall’azienda. Sebbene possano pubblicare i loro risultati, OpenAI mantiene il diritto di nascondere dettagli confidenziali e di richiedere ritardi per una divulgazione responsabile.
Eventuali disaccordi saranno prima discussi con il Gruppo Consulenziale di Sicurezza di OpenAI e i dirigenti, per poi passare al Comitato di Sicurezza e Protezione, organismo del consiglio della OpenAI Foundation che fornisce una supervisione indipendente.
Dettagli sul coinvolgimento di Apollo e le condizioni di compenso
Apollo inserirà sei valutatori all’interno di OpenAI come parte del pilota, secondo TechCrunch. L’avvio non è ancora datato; l’accesso sarà limitato a specifici modelli e periodi concordati, e OpenAI potrà trattenere informazioni per motivi tecnici, di sicurezza o di proprietà intellettuale, ma non per semplice sfavore.
Apollo ha definito il pilota “un primo passo ambizioso verso un maggiore accesso e diritti di divulgazione”. Apollo e Goodfire riceveranno una compensazione finanziaria indipendente dai risultati, mentre METR e Transluce non accetteranno compensi monetari, potendo però ottenere crediti di calcolo o API.
Prospettive future e contesto aziendale
OpenAI ha dichiarato che la prima fase dovrebbe evolversi in accordi integrati regolari e duraturi. Nel settembre scorso, l’azienda aveva annunciato l’estensione delle valutazioni di sicurezza di terze parti oltre i controlli pre‑lancio, includendo addestramento, valutazione e distribuzione, ma non aveva ancora specificato le organizzazioni partner né i termini di accesso.
Il CEO Sam Altman ha sottolineato il 12 settembre che gli evaluatori indipendenti avranno diritto a spazi di lavoro, equipaggiamento e alla pubblicazione dei loro risultati, segnando un passo significativo verso una maggiore trasparenza e responsabilità nella gestione dei rischi dell’intelligenza artificiale.
