Il test di migrazione di OpenAI si propone di valutare una capacità molto specifica: riscrivere codice COBOL in modo che produca risultati finanziari identici, senza introdurre errori di arrotondamento. Nei calcoli a virgola fissa del COBOL, le cifre decimali in eccesso vengono troncate, a meno che non sia richiesto l’arrotondamento; una riscrittura che arrotonda può quindi generare importi diversi, come spiega il blog di OpenAI.
Il benchmark interno di OpenAI
Il test richiede che le uscite siano identiche “byte per byte”. Una migrazione è considerata valida solo se tutti i test passano. Con questa impostazione, GPT‑6.1 Sol ottiene un risultato dell’86,6 % di migrazioni riuscite. Il comunicato non specifica quanti programmi siano inclusi, né la loro provenienza o dimensione, rendendo impossibile collegare tale percentuale a un reale parco applicativo.
Le due valutazioni citate nel blog sono state progettate e misurate da OpenAI e non riguardano gli stessi modelli. La prima, MultiLangBench, fa scrivere a GPT‑6 Astra un motore di database compatibile con SQLite in venti linguaggi; il protocollo e i test sono pubblici. La seconda, la migrazione del COBOL, utilizza GPT‑6.1 Sol, offerto a un prezzo cinque volte inferiore rispetto ad Astra, e i suoi test rimangono “cascati” e non pubblicati. Nessuna azienda cliente è menzionata.
Confronto con il benchmark indipendente di Vals AI
Un banco di prova esterno, Code Migration, pubblicato da Vals AI e aggiornato il 19 ottobre (stesso giorno del comunicato di OpenAI), include un segmento COBOL‑to‑Java. Nel ranking generale, GPT‑6.1 Sol si classifica quarto su 26 modelli, dietro due sistemi di Anthropic e GPT‑6 Astra.
Vals AI indica un costo di 9,51 USD per test per GPT‑6.1 Sol, contro 43,88 USD per Claude Sonnet 5.5, primo classificato. Vals si presenta come valutatore indipendente, ma non fornisce informazioni sul proprio finanziamento né sui legami con gli editori dei modelli.
Dettagli sui costi
- OpenAI dichiara che, al “regime di ragionamento debole”, GPT‑6.1 Sol costa il 61 % di GPT‑5.6 Sol, senza specificare la griglia di prezzo o il volume di token.
- Le tariffe ufficiali mostrano 2 USD per milione di token in ingresso e 10 USD in uscita per GPT‑6.1 Sol, contro 4 USD e 20 USD per GPT‑5.6 Sol (tariffa promozionale valida almeno fino al 21 nov 2026).
- A parità di token, la fattura dovrebbe scendere al 50 %; il 61 % implica circa il 22 % di token in più consumati per programma, esclusi i token “cache”.
Il rigore del criterio “tutti i test passati”
Richiedere il superamento di tutti i test è più severo rispetto a misurare una percentuale di successi. La rilevanza dipende da cosa viene migrato: un programma isolato non presenta le complessità di una catena batch con file, formati e dipendenze.
Con il regime di ragionamento debole, GPT‑6.1 Sol raggiunge il 86,6 %; lo stesso regime applicato a GPT‑5.6 Sol porta solo al 5,4 % di migrazioni riuscite. A un regime più intensivo (non specificato dal blog), GPT‑6.1 Sol sale al 97,9 %, quasi la saturazione del test secondo OpenAI, ma il costo di questo risultato non è stato comunicato.
Risultati del benchmark Vals AI
Nel test Vals AI, il modello opera offline e supera test nascosti. La sezione COBOL comprende dieci repository, mescolando programmi open source e sistemi sintetici creati per il test, con file, batch e interfacce terminale. Altri trenta repository coprono migrazioni tra Python, Java, Kotlin, Rust e C++.
Il ranking globale mostra Claude Sonnet 5.5 al 86,88 % di test superati, seguito da Claude Opus 5.5 (81,01 %), GPT‑6 Astra (80,58 %) e GPT‑6.1 Sol (77,32 %). Vals non pubblica un punteggio specifico per il COBOL; ogni repository pesa allo stesso modo, così il segmento COBOL rappresenta un quarto del punteggio totale, senza possibilità di isolare il risultato.
Migrazioni complete su 120 casi
- Claude Opus 5.5 completa totalmente 18 migrazioni.
- Claude Sonnet 5.5 completa 15 migrazioni.
- Altri modelli non superano più di 4 migrazioni; GPT‑6 Astra non ne completa nessuna.
Vals non fornisce il conteggio equivalente per il COBOL.
Confronto con test precedenti
L’edizione precedente del test, eseguita con un diverso “harvester” e set di test, mostrava GPT‑6.1 Sol al 65,12 % di successi e GPT‑5.6 Sol al 52,92 %. L’intervallo di 12 punti è molto inferiore ai 81 punti dichiarati da OpenAI per il nuovo benchmark, evidenziando che le due misurazioni non sono direttamente comparabili.
Scrivere nuovo COBOL: il punto critico
MultiLangBench valuta la capacità di scrivere software da zero. Il modello riceve la documentazione di SQLite 3.40.1 e deve produrre una versione compatibile, verificata da test tratti dalla suite di SQLite. Su 24 000 test convertiti, il benchmark ne suggerisce l’uso di 272. Il blog non specifica su quale sotto‑insieme siano calcolati i punteggi.
Al massimo sforzo, GPT‑6 Astra supera la media dell’87,4 % di test su 20 linguaggi, mentre GPT‑5.6 Sol raggiunge solo il 26,8 %. Per il COBOL, Astra ottiene il 72,1 % contro il 10,9 % di GPT‑5.6 Sol. Altri linguaggi mostrano miglioramenti marcati: Fortran sale dal 21,4 % all’83,5 %, Visual Basic dal 27,5 % all’89,4 %.
Cosa resta da fare per le aziende
OpenAI avverte che l’applicazione di queste capacità a software in produzione “richiede sempre una revisione da parte di esperti”, con test che coprano regole di business e dipendenze di sistema. Anthropic ha espresso la stessa condizione il 23 feb 2026 presentando Claude Code per la modernizzazione del COBOL: l’IA genera test di equivalenza, ma “spetta al vostro team decidere se sono sufficienti”.
Il consulente Thoughtworks, in un’analisi del 2 mar 2026, sottolinea che la generazione di codice è “solo una piccola parte del problema”. La modernizzazione include anche la migrazione dei dati e, se necessario, l’esecuzione parallela dei sistemi legacy e nuovi, aspetti non misurati nei test di OpenAI.
Impatto reale del COBOL
- OpenAI cita che il COBOL alimenta oltre il 40 % dei sistemi bancari online.
- Il 80 % delle transazioni con carta di credito in negozio e il 95 % dei prelievi da ATM dipenderebbero dal COBOL.
- Questi dati risalgono a un articolo di PC Mag del 1 dic 2023, citato da IBM, e non sono stati aggiornati negli ultimi tre anni.
- Anthropic limita la percentuale dei prelievi da ATM al mercato statunitense; non ci sono dati specifici per l’Europa.
In sintesi, i risultati di OpenAI mostrano progressi notevoli nella migrazione automatica del COBOL, ma la mancanza di trasparenza sul campione, sui costi effettivi e sulle limitazioni operative rende difficile valutare l’effettiva utilità per le organizzazioni che gestiscono sistemi legacy. Le aziende dovranno comunque affidarsi a revisori umani, test di integrazione e strategie di migrazione dei dati per garantire una transizione sicura e affidabile.