Il 3 novembre 2026 Google AI & Infrastructure ha rivelato un’importante novità per il mondo dell’intelligenza artificiale applicata all’ingegneria: il benchmark Physical‑Engineering’s Last Exam (PLE). Si tratta di un test di 85 task sviluppato in collaborazione con Mercor, che mira a valutare la capacità di agenti autonomi di completare incarichi professionali in ambiti meccanico, elettrico, civile e strutturale.
Struttura e obiettivi del benchmark PLE
Contrariamente a test più tradizionali basati su domande a risposta breve o su singole chiamate a strumenti, PLE richiede a un agente di gestire progetti completi, dalla raccolta dei requisiti alla consegna di documenti tecnici. Il benchmark è suddiviso in:
- 30 task di ingegneria meccanica
- 27 task di ingegneria elettrica
- 18 task di ingegneria civile
- 10 task di ingegneria strutturale
Il successo viene misurato tramite deliverable che devono rispettare codici di ingegneria, vincoli fisici e, per i progetti di design, obiettivi di costo o performance.
Pubblicazione e revisione
Il paper di riferimento è stato caricato su arXiv il 21 ottobre 2026 e revisionato il 30 ottobre 2026. La novità annunciata nel novembre non è la pubblicazione del paper, ma la diffusione delle 29 task pubbliche, degli strumenti di valutazione e l’apertura della competizione.
Ambiente di esecuzione e tipologia di file
Ogni incarico è eseguito in un container basato su Archipelago, la piattaforma di Mercor per la gestione di progetti. In totale, le 85 task contengono 5 170 file, con una media di 61 file per task. I formati includono PDF, fogli di calcolo, email, disegni CAD 2D, modelli BIM 3D e versioni successive di documenti precedenti.
Compiti dell’agente
L’agente deve:
- Identificare i documenti e i requisiti pertinenti
- Eseguire calcoli ingegneristici
- Generare memorandum di ingegneria, libri di calcolo, liste di attrezzature e disegni conformi alle norme professionali
Creazione delle task e validazione
Le 44 task redatte da esperti sono state sviluppate da ingegneri in esercizio, includendo cartelle di progetto, istruzioni dettagliate e rubriche di valutazione ponderate. Per le 41 task co‑create, gli ingegneri hanno fornito i brief iniziali; successivamente, una pipeline avversariale Creator‑Solver ha costruito e testato gli ambienti e i valutatori eseguibili usando materiale reale disponibile sotto licenze permissive o di pubblico dominio.
Assenza di dati sensibili
Il paper sottolinea che nessuna task contiene informazioni riservate di clienti o proprietà esclusiva: i contenuti sono stati creati ex novo o derivati da fonti pubbliche, garantendo così la libera distribuzione del benchmark.
Metodologia di valutazione
Le task redatte da esperti sono valutate con criteri ponderati basati sui risultati presenti nei file consegnati. Le task di design co‑create combinano il rispetto dei vincoli con un obiettivo economico o di performance; il mancato rispetto di un requisito di sicurezza o di fattibilità annulla i punti relativi all’obiettivo.
Vantaggi rispetto a rubriche tradizionali
Questo approccio evita la trappola di rubriche statiche, dove due schemi di cablaggio possono soddisfare gli stessi controlli normativi ma differire significativamente nei costi di installazione.
Risultati di riferimento e performance dei modelli
Google ha valutato 14 modelli usando sette framework di agenti pubblici, eseguendo ciascuna task tre volte per configurazione. I container di esecuzione erano isolati da internet e consentivano sei ore di runtime per tentativo. La valutazione è avvenuta esternamente al container per impedire l’accesso a rubriche e deliverable di riferimento.
Nel set privato di 56 task, tutti i modelli hanno ottenuto meno del 50 % di punteggio nella configurazione nativa; il migliore è stato Claude Opus 5.5 con Claude Code, che ha raggiunto il 48,3 %.
Valutazione completa del benchmark
Quando si considerano le 85 task complessive, Claude Opus 5.5 ha ottenuto il picco del 50,6 % di successo, consumando in media 27 milioni di token, 63 minuti per task e un costo di 17,18 USD a task al prezzo di listino.
Le differenze tra i modelli sono evidenti: circa 50 punti di variazione, mentre la differenza mediana tra i framework per lo stesso modello è di soli tre punti, sebbene la scelta del framework influenzi sia il punteggio sia il costo.
Analisi delle task co‑create
La configurazione più robusta ha rispettato il 91 % dei vincoli individuali, ma solo il 41,3 % dei deliverable ha superato tutte le verifiche obbligatorie di sicurezza e fattibilità. In pratica, gli agenti riuscivano a soddisfare la maggior parte dei requisiti, ma spesso fallivano nel produrre un design completamente conforme, evidenziando la difficoltà di gestire restrizioni critiche.
Variabilità dei risultati
Per ogni combinazione di task e framework, la varianza media tra tre esecuzioni è stata di 15,4 punti, supportando la decisione degli autori di utilizzare la media di più run anziché un singolo tentativo.
Dettagli della competizione open‑source
Il repository ufficiale divide PLE in 29 task pubblici di sviluppo e 56 task di test nascosti. I partecipanti devono presentare:
- Il framework di agente (software che dirige il modello)
- Il modello scelto
- I file generati per le task pubbliche
Gli organizzatori valutano i file, rieseguono il framework su una selezione di task pubblici per verificare la riproducibilità, e infine lo eseguono tre volte sui task nascosti per determinare il ranking finale.
Risorse messe a disposizione
I concorrenti possono utilizzare gratuitamente 13 modelli sponsorizzati da Google, fornire una chiave API per un modello commerciale o collegare un proprio server di modelli. Il repository, rilasciato sotto licenza Apache‑2.0, include implementazioni di riferimento per sistemi di esecuzione personalizzati e adapter per agenti esistenti.
Implicazioni per il futuro dell’IA ingegneristica
PLE dimostra che il vero ostacolo non è solo soddisfare singoli vincoli, ma garantire la coerenza complessiva di un progetto ingegneristico. Un agente deve navigare tra documenti reali, gestire revisioni, rispettare normative di sicurezza e allo stesso tempo ottimizzare costi o performance. I risultati attuali indicano che, sebbene i modelli di grandi dimensioni abbiano compiuto progressi notevoli, rimane una larga distanza da colmare prima di poter sostituire l’ingegnere umano in processi complessi.
La competizione, aperta a ricercatori, aziende e sviluppatori indipendenti, rappresenta un banco di prova cruciale per accelerare l’innovazione. Il fatto che Google metta a disposizione un’infrastruttura completa, dal container di valutazione ai dataset pubblici, favorisce la standardizzazione delle metriche e la replicabilità dei risultati, elementi essenziali per la credibilità scientifica nel campo dell’IA applicata all’ingegneria.
In sintesi, il benchmark PLE segna un passo decisivo verso agenti AI capaci di gestire progetti ingegneristici end‑to‑end. Le performance attuali mostrano ancora margini di miglioramento, ma la trasparenza dei dati, la varietà di task e la sfida competitiva offrono una piattaforma promettente per spingere ulteriormente i limiti dell’intelligenza artificiale nel mondo reale.