Gli economisti stanno dibattendo su come l’intelligenza artificiale (IA) influenzerà la loro ricerca. Weder di Mauro (2026) sostiene che l’IA aumenta l’offerta di articoli competenti mentre i posti nei cinque giornali top rimangono fissi. Vansteenkiste (2026) suggerisce che il ruolo del ricercatore si sposterà dal fornire risposte corrette a porre le domande giuste. Gran parte di questo dibattito riguarda la valutazione della ricerca e il ruolo residuo del ricercatore. Questa colonna si concentra invece su un livello più meccanico: il codice che trasforma un dataset e un metodo in una stima.

Il problema degli errori di codifica

Il codice scritto da persone non è mai stato privo di errori. Un audit di 110 studi recentemente pubblicati in prestigiosi giornali di economia e scienze politiche ha rilevato errori di codifica in circa un quarto dei casi, anche quando il codice postato riproduce esattamente i numeri pubblicati (Brodeur et al. 2026). Gli economisti delegano spesso il codice di stima a assistenti di ricerca, ma la delega non elimina la necessità di revisionarlo. I grandi modelli linguistici possono ora scrivere questo codice e, come gli assistenti umani, possono introdurre errori.

Ogni generazione di strumenti di codifica IA aumenta il volume di codice prodotto, mentre le versioni software crescono di meno, in parte perché il codice generato dall’IA deve comunque essere revisionato, testato e integrato da persone (Demirer et al. 2026).

Dalla chat all’agente di codifica

Molti utenti interagiscono con i modelli linguistici tramite una finestra di chat (Chatterji et al. 2025; Johnston et al. 2026). Se il modello risponde con uno script, il ricercatore deve eseguirlo e richiedere eventuali correzioni. Gli agenti di codifica come Claude Code e Codex sono programmi che “circondano” il modello, eseguono ciò che scrive, permettono al modello di leggere l’output e di rivedere il codice finché non decide di aver terminato. Korinek (2025) mostra come gli economisti possano usare tali agenti e costruire i propri agenti di ricerca. In un recente lavoro (Galiani et al. 2026) chiediamo come il passaggio da una finestra di chat a un agente di codifica influenzi la correttezza del codice econometrico e quali implicazioni ne derivino per i ricercatori empirici.

Costruzione del benchmark

Ash e Hansen (2023) hanno invitato a valutare i modelli linguistici sui compiti che gli economisti usano. Abbiamo creato un benchmark di 40 compiti econometrici che coprono regressione lineare, differenza‑in‑differenze, variabili strumentali, regressione di discontinuità, scelta discreta, analisi di sopravvivenza e serie temporali. Ogni compito specifica il metodo, fornisce un dataset simulato e un risultato di riferimento pre‑calcolato. Un run ha successo quando i numeri riportati corrispondono al riferimento entro una tolleranza.

Abbiamo eseguito ogni compito in Stata, R e Python, con e senza esempio di un compito correlato nel prompt, e sotto tre livelli di “agency”, che differiscono per quanto il modello si occupa dell’esecuzione e della revisione:

    • Chatbot: il modello scrive uno script e non lo vede eseguito.
    • Auto‑riparazione: lo script viene eseguito; se fallisce o l’output manca di un valore richiesto, l’output viene restituito al modello per una revisione, fino a tre volte.
    • Agente vincolato: il modello ha solo una linea di comando, il prompt lo limita al compito, può eseguire e rivedere il codice quante volte vuole, è istruito a verificare il calcolo con un controllo indipendente e decide quando terminare.

Ogni combinazione è stata ripetuta 10 volte con due modelli, Claude Sonnet 4.6 in Claude Code e GPT‑5.6 Luna in Codex, per un totale di 14 400 run.

Risultati: il successo aumenta con l’agency

Claude Sonnet 4.6 restituisce un risultato corretto nel 81,4 % dei run da chatbot, nel 93,5 % da auto‑riparazione e nel 99,2 % da agente. GPT‑5.6 Luna passa dal 77,3 % al 90,3 % e poi al 95,1 %. L’auto‑riparazione, con al massimo tre revisioni, già raggiunge il 68 % del miglioramento dell’agente rispetto al chatbot per Claude Sonnet 4.6 e il 73 % per GPT‑5.6 Luna.

Il grafico 1, che aggrega i due modelli, mostra che prompt ed ambiente software hanno un impatto minore man mano che l’agency cresce. Un esempio nel prompt (Brown et al. 2020) aumenta il successo del 5,8 % per Claude Sonnet 4.6 e del 7,3 % per GPT‑5.6 Luna nella modalità chatbot, ma aggiunge solo 0,7 e 1,5 punti nell’agente (pannello A). La scelta del software segue lo stesso schema (pannello B). Con il chatbot e senza esempio, Stata è inferiore a Python di 25,5 punti per Claude Sonnet 4.6 e di 30,8 punti per GPT‑5.6 Luna, nonostante Stata sia il software più usato in economia empirica (Vilhuber et al. 2020). Con l’agente, il divario si riduce a 1,3 e 6,8 punti rispettivamente.

Loud e silent failures

Definiamo “loud failure” un fallimento evidente: lo script non si esegue o non restituisce un output completo, così il ricercatore vede un messaggio di errore o un risultato mancante. Una “silent failure” è invece uno script che si esegue e restituisce output, ma almeno uno dei numeri è sbagliato, senza alcun avviso.

Più di due‑terzi delle silent failures analizzate derivano da un errore di codifica in un metodo altrimenti corretto, come un indice sbagliato o un termine errato in una formula. Con il chatbot la maggior parte dei fallimenti è loud; l’esempio riduce soprattutto i loud failures e gli script Stata ne producono più spesso rispetto a R o Python. L’agente elimina i loud failures in tutti e tre gli ambienti, lasciando pochi fallimenti da mitigare con l’esempio e riducendo quasi del tutto il gap di Stata.

Aggregati sui due modelli, i loud failures scendono da 15,8 per 100 run con il chatbot a zero con l’agente. I silent failures diminuiscono da 4,9 a 2,9 per 100 run (Figura 2). Il totale dei fallimenti passa da 20,7 a 2,9 per 100 run, e tutti i fallimenti rimanenti sono silent. La riduzione dei silent failures è quasi interamente dovuta a Claude Sonnet 4.6, che passa da 4,7 a 0,8 per 100 run, contro 5,1 a 4,9 per GPT‑5.6 Luna. Con l’agente, il compito con più fallimenti è quello delle variabili strumentali shift‑share, dove ogni run fallita restituisce tutte le stime ma un errore di errore standard fuori tolleranza.

Costi dell’agency

Eseguire e rivedere il codice richiede chiamate aggiuntive al modello, valutate al prezzo di listino delle API. Per Claude Sonnet 4.6, il costo medio di un run aumenta di un fattore 3,1 passando dal chatbot all’agente, da 4,56 a 14,09 centesimi. Per GPT‑5.6 Luna, il fattore è 5,0, ma un run con agente costa ancora meno di un centesimo in media. Il tempo medio di un run con agente è 5,8 volte più lungo del median run del chatbot per Claude Sonnet 4.6 e 3,4 volte più lungo per GPT‑5.6 Luna. Per Claude Sonnet 4.6, ogni risultato corretto aggiuntivo rispetto al chatbot ha un costo di circa 0,54 USD, pari a 0,6‑2,2 minuti di lavoro di un assistente pagato 15‑50 USD l’ora.

Impatti per i ricercatori empirici

Per un ricercatore che sceglie come utilizzare questi strumenti, il livello di agency ha un peso maggiore, in media, rispetto al prompt o al software, i cui effetti si attenuano con l’aumentare dell’autonomia del modello. L’adozione di agenti di codifica può ridurre drasticamente gli errori, soprattutto i più evidenti, a fronte di costi computazionali più alti ma ancora contenuti rispetto al lavoro umano.

In pratica, gli economisti dovrebbero valutare se investire in agenti più sofisticati, magari combinandoli con esempi mirati, per massimizzare la correttezza senza incorrere in costi proibitivi. L’integrazione di agenti di IA nei flussi di lavoro può diventare un nuovo standard per la produzione di codice econometrico affidabile, migliorando la replicabilità e la trasparenza della ricerca empirica.