Che cosa è Harness² e perché è importante
Harness² è un progetto open source nato nei Google Research Labs con l’obiettivo di sperimentare un metodo per migliorare gli agenti AI intervenendo direttamente sull’harness, cioè sull’insieme di istruzioni, tool, memoria e regole che consentono al modello di operare in un ambiente operativo. I risultati preliminari mostrano miglioramenti misurabili nei benchmark professionali, tradotti in una maggiore qualità del lavoro automatizzato e in una riduzione delle correzioni e degli interventi umani.
In un contesto di automazione aziendale, un agente può leggere correttamente un ordine ma applicare il listino sbagliato, oppure produrre un rapporto convincente utilizzando il periodo contabile errato. Valutare solo la qualità linguistica del modello significa trascurare l’intera catena operativa che porta al risultato finale. Harness² interviene proprio su questo aspetto, consentendo all’harness di evolvere nel tempo e di conservare le esperienze utili per le successive iterazioni.
Definizione di harness
Un harness è l’insieme di elementi che permette a un modello di agire all’interno di un ambiente operativo. Include:
- Le istruzioni fornite dall’utente (prompt di sistema).
- Gli strumenti (tool) disponibili, spesso API o funzioni software.
- Un sistema di memoria per conservare informazioni durevoli.
- Un set di regole (guardrail) che governano il comportamento.
L’agente nasce dall’interazione fra il modello e questo sistema: il modello interpreta la richiesta e propone i passi da svolgere, mentre l’harness rende possibili le operazioni, gestisce i risultati e controlla le fasi successive.
Strumenti, API e orchestrazione
Gli strumenti, o tool, sono funzioni software che l’agente può invocare per svolgere compiti specifici: cercare un documento, interrogare un gestionale, eseguire un calcolo, ecc. Un’API (Application Programming Interface) è l’interfaccia che consente a due programmi di scambiarsi richieste e dati. L’integrazione aziendale deve quindi stabilire quali API rendere disponibili, con quali parametri e con quali permessi.
Quando il modello richiede un’operazione, spetta comunque al software responsabile eseguirla correttamente. Questo è il motivo per cui la qualità dell’automazione dipende tanto dall’accuratezza dell’API quanto dalla capacità del modello di formulare richieste sensate.
Orchestrazione degli agenti
L’orchestrazione indica il coordinamento delle attività e può includere la delega di specifiche operazioni ad altri agenti. In un flusso di lavoro prestabilito, il programma decide in anticipo la sequenza delle operazioni; in un sistema più autonomo, invece, il modello può scegliere parte del percorso da seguire in base alle informazioni raccolte. Questa flessibilità è fondamentale per ridurre gli errori di tipo “identificazione cliente errata” che, sebbene il calcolo sia corretto, compromettono l’intera proposta commerciale.
L’importanza della continuità e della memoria
Il contesto è l’insieme delle informazioni disponibili al modello durante un’elaborazione e presenta dimensioni limitate. Esperimenti di Anthropic su attività di sviluppo software prolungate hanno evidenziato problemi di perdita dello stato, dichiarazioni premature di completamento e verifiche insufficienti. Un agente che opera nel mondo reale deve mantenere la continuità della catena operativa, dall’evento iniziale all’azione risolutiva.
Un cambiamento nelle istruzioni può incidere sulla scelta degli strumenti, così come una modifica agli strumenti può rendere superflue alcune istruzioni. Per questo motivo l’harness deve essere osservata e valutata nel suo insieme, conservando una versione di riferimento per misurare gli effetti di ogni intervento.
Il ciclo recursive agent harnessing di Harness²
Harness² introduce due miglioramenti chiave:
- Modifiche al compito in esecuzione, sperimentando configurazioni alternative.
- Processo di ottimizzazione dell’harness stesso, con configurazioni precedenti e insegnamenti ricavati dalle iterazioni.
Questo approccio è definito “recursive agent harnessing” e consiste in un miglioramento iterativo del sistema che guida l’agente. A differenza del fine‑tuning, che modifica i parametri del modello tramite ulteriore addestramento, l’intervento a livello di harness agisce su componenti esterne al modello: procedure, istruzioni e codice di supporto.
Auto‑apprendimento vs. fine‑tuning
L’auto‑apprendimento è indispensabile per far operare l’agente in un “open world”, cioè in contesti non previsti durante la progettazione dell’harness. I tool di Google si adattano alle evidenze del caso presente, aggiornando dinamicamente le configurazioni.
Componenti modificabili della pipeline
Nella pipeline di Harness² sono stati definiti otto componenti modificabili per adattare la configurazione al compito specifico:
- System prompt: definisce il ruolo dell’agente e la procedura generale.
- Guardrail: stabilisce le regole permanenti di sicurezza e conformità.
- Memoria: conserva informazioni durevoli sul dominio.
- Indicazioni sugli strumenti: spiegano come utilizzare i tool disponibili.
- Skill: procedure riutilizzabili per compiti ricorrenti.
- Sub‑agenti: deleghe a agenti specializzati.
- Script: operazioni programmate per automatizzare sequenze.
- Plugin: interventi personalizzati nel ciclo di esecuzione degli strumenti.
Il ciclo Propose‑Probe‑Compose
Il nucleo del meccanismo di auto‑miglioramento è il ciclo Propose–Probe–Compose. Le fasi sono:
- Propose: il sistema esegue il compito con l’harness di riferimento, generando un risultato e una traccia dettagliata delle operazioni (log, osservazioni, errori).
- Probe: vengono generate due varianti esecutive – una generica per problemi di carattere generale e una specifica per le esigenze del dominio – e testate sullo stesso compito.
- Compose: il sistema confronta le evidenze, risolve conflitti e combina gli interventi più efficaci, creando una nuova configurazione.
Questa nuova configurazione viene poi eseguita nuovamente, producendo un secondo set di risultati. In pratica, per ogni ciclo base si ottengono quattro esecuzioni del compto: riferimento, variante generale, variante specifica e composizione finale.
Esempio pratico
Immaginiamo un agente incaricato di confrontare preventivi ma che omette i costi di trasporto, avendo consultato solo la prima pagina di ciascun documento. Una variante generale introdurrebbe un controllo sulla completezza dei file letti, mentre una variante specifica chiederebbe di estrarre separatamente prezzo, costi di trasporto e condizioni di resa. Le nuove esecuzioni mostrerebbero se le informazioni mancanti vengono effettivamente recuperate e se il risultato finale migliora.
Modalità parallela e sequenziale
Harness² supporta due modalità operative:
- Parallela: il sistema esplora simultaneamente più varianti generali e specifiche, sfruttando le evidenze per generare diverse composizioni. Questo riduce i tempi di attesa quando l’infrastruttura consente lavori simultanei.
- Sequenziale: il processo procede passo dopo passo, aggiornando la configurazione e la storia delle prove precedenti. Il consumo complessivo di risorse rimane legato al numero di operazioni effettivamente svolte.
Il parallelismo è utile in scenari con elevata disponibilità di calcolo, ma la scelta dipende dal bilancio tra velocità e costi operativi.
Valutazione sperimentale
Il preprint del paper di Google ha valutato due modelli esecutori, OpenCode e Codex, con Claude Opus 4.8 come editor principale. I test hanno incluso:
- WorkBuddy: attività su codice sorgente.
- JobBench: compiti professionali complessi.
- LAB: scenari legali.
I risultati con un singolo ciclo di miglioramento hanno mostrato un aumento significativo delle metriche di accuratezza e una diminuzione degli errori di processo. Tuttavia, il paper documenta anche casi di peggioramento su singoli compiti, evidenziando la necessità di monitorare costantemente le iterazioni e di mantenere una versione di riferimento per confronti.
Conclusioni e prospettive future
Harness² dimostra che intervenire sull’harness, piuttosto che sul modello stesso, può generare miglioramenti rapidi e sostenibili nelle performance degli agenti AI. Questo approccio consente di:
- Ridurre il gap tra capacità linguistiche del modello e requisiti operativi concreti.
- Adattare rapidamente gli agenti a nuovi domini senza dover ri‑addestrare i modelli.
- Mantenere una traccia dettagliata delle modifiche, favorendo la replicabilità e la governance.
Il prossimo passo sarà l’integrazione di Harness² in piattaforme di automazione enterprise, con focus su scalabilità, sicurezza dei dati e interoperabilità con sistemi legacy. Se i risultati sperimentali si confermeranno, il modello di recursive agent harnessing potrà diventare un nuovo standard per lo sviluppo di agenti AI affidabili e autonomi.