Il contesto attuale indica che la programmazione è l’uso più diffuso dell’intelligenza artificiale generativa, sia per volume di richieste che per investimenti economici. Gli sviluppatori si affidano sempre più a strumenti potenziati dall’AI per accelerare i flussi di lavoro, ma i benchmark tradizionali valutano solo problemi isolati: funzioni singole, algoritmi o correzioni di bug.
Da benchmark di funzioni a valutazione di applicazioni complete
Questi test tradizionali, pur fornendo spunti utili sulla capacità di generazione di codice, non riescono a catturare il vero potenziale dell’AI nella creazione di software. L’applicazione più impattante degli assistenti di programmazione AI è la realizzazione di applicazioni intere a partire da specifiche in linguaggio naturale, un caso d’uso “zero‑to‑one” che può accelerare lo sviluppo e consentire prototipi anche a chi non è tecnico.
Fino ad oggi non esisteva un quadro standardizzato per valutare questa capacità end‑to‑end. Il nuovo benchmark Vibe Code Bench colma questa lacuna testando i modelli nella costruzione di applicazioni funzionali all’interno di un ambiente di sviluppo completo, con valutazioni basate su test point‑and‑click per verificare se il software soddisfa i requisiti dell’utente.
Piano di accesso
Nei prossimi settimane sarà disponibile un piano di accesso al benchmark. Gli interessati possono compilare il modulo dedicato per partecipare.
Risultati del benchmark v1.1
Nei risultati della versione canonica v1.1, anche i migliori modelli non riescono a consegnare applicazioni che superano tutti i test, evidenziando che lo sviluppo end‑to‑end affidabile rimane una sfida aperta.
Il leader attuale è Claude Fable 5.2 (OpenHands) con un tasso di superamento del 93,77%. Seguono Gemini 4 Neon (OpenHands), Claude Sonnet 5.5 (OpenHands), Gemini 4 Argon (OpenHands), Claude Haiku 5.5 (OpenHands) e Claude Fable 5 (OpenHands). Nonostante il punteggio elevato, il modello top presenta ancora outlier con tassi di passaggio bassi, ma la distribuzione complessiva mostra una coda di modelli ad alte prestazioni più lunga rispetto alle versioni precedenti.
Esempio di applicazione testata: Zeeter
Il benchmark ha chiesto a tutti i modelli di implementare “Zeeter”, un sito web dove gli utenti scrivono brevi messaggi (Zeets) visibili ai follower. Le funzionalità richieste includono:
- Autenticazione (registrazione e login)
- Creazione di Zeets
- Visualizzazione dei Zeets dei follower
- Like e commenti sui Zeets
- Rimozione dei Zeets
- Follow e unfollow di altri utenti
- Ricerca
- Pagina di esplorazione per scoprire utenti
Le specifiche complete e la rubrica di valutazione sono disponibili pubblicamente.
Applicazioni ospitate
Le seguenti versioni di Zeeter sono attualmente ospitate:
- Anthropic Claude Opus 5.5 (high)
- Google Gemini 4 Argon
- OpenAI GPT‑6.1 Sol
- DeepSeek V4.1 Flash 1017
- Kimi K3
- Thinking Machines Inkling 2 Small
Queste app sono state create interamente dal modello LLM; solo la configurazione di rete (host, porta) è stata modificata. Si invitano gli utenti a non inserire dati personali sensibili né a riutilizzare password, poiché non vi sono garanzie di sicurezza, funzionalità o moderazione dei contenuti.
Metodologia di valutazione automatica
Ogni test comprende più passaggi. L’agente valutatore esegue una serie di step per ciascun modello, osservando l’applicazione in ogni fase. Tra i modelli valutati vi sono GPT 5.3 Codex, Claude Fable 5.2, Gemini 4 Neon, Claude Sonnet 5.5, Gemini 4 Argon, Claude Haiku 5.5 e molti altri, per un totale di oltre 130 modelli.
Uso degli strumenti
Il benchmark mette a disposizione più di trenta strumenti, tra cui operazioni per gestire lo stato di Supabase, navigare le applicazioni in esecuzione e effettuare ricerche web. Tuttavia, la maggior parte degli strumenti è stata raramente usata; i più frequenti sono:
- Modifica di file
- Esecuzione di comandi bash
- Browser per testare l’applicazione
- Esecuzione di query SQL
Il browser è tipicamente impiegato per verificare il corretto funzionamento dell’app dopo l’implementazione.
Analisi delle traiettorie dei modelli
Le traiettorie sono state categorizzate in diversi bucket (pianificazione, installazione, debugging, ecc.). Esistono notevoli variazioni nel modo in cui i modelli suddividono il loro tempo e nel numero di azioni intraprese. Alcuni esempi di azioni totali per modello includono:
- Qwen 3.5 Plus: 93 azioni
- Claude Haiku 4.5 (Thinking): 108 azioni
- Claude Opus 4.6 (Nonthinking): 121 azioni
- Claude Opus 4.6 (Thinking): 102 azioni
- Claude Sonnet 4.6: 96 azioni
- Gemini 3 Pro (11/25): 148 azioni
- GPT 5.2 Codex: 212 azioni
Le visualizzazioni mostrano la distribuzione delle azioni tra navigazione, scrittura di codice, configurazione di database, debugging, documentazione, esplorazione, inizializzazione del frontend, installazione, pianificazione, esecuzione e altre attività.
Analisi degli errori più comuni
Durante l’ispezione manuale delle traiettorie, sono emersi diversi pattern di errore:
Problemi di installazione
Nonostante l’ambiente includa Docker e Node, i modelli devono installare librerie aggiuntive (es. Tailwind). La maggior parte dei modelli non riesce al primo tentativo; i migliori lo risolvono al secondo o terzo tentativo, mentre i più deboli sprecano tempo in comandi falliti.
Configurazione della rete Docker
Per le app che interagiscono con Supabase o un backend, è cruciale rendere disponibili le variabili d’ambiente al frontend. I modelli più performanti aggiungono un file .env nella cartella frontend o impostano build.args nel file docker‑compose.yml. L’uso di env_file non funziona, poiché controlla solo le variabili a runtime. I modelli meno efficienti rimangono bloccati su questo aspetto per molti turni.
Problemi di timeout
I modelli più deboli tendono a continuare a modificare i file fino al limite di tempo o di turni, impedendo la chiusura corretta dell’applicazione e il superamento dei test finali.
Altri errori ricorrenti
- Incoerenze nei percorsi dei file
- Dipendenze mancanti o versioni incompatibili
- Assenza di test unitari per funzionalità critiche
Questi errori evidenziano la necessità di migliorare la capacità dei modelli di pianificare, gestire le dipendenze e ottimizzare il tempo di esecuzione.
Conclusioni e prospettive future
Il Vibe Code Bench rappresenta un passo significativo verso la valutazione realistica delle capacità di sviluppo software degli LLM. I risultati mostrano progressi notevoli, ma anche limiti persistenti, soprattutto nella gestione di installazioni, configurazioni di rete e rispetto dei limiti temporali.
Le prossime versioni del benchmark introdurranno:
- Una gamma più ampia di tool di sviluppo
- Metriche di qualità del codice (legibilità, test coverage)
- Scenario di deployment su cloud reali
- Valutazioni di sicurezza e moderazione dei contenuti
Con un accesso più ampio e una community di ricercatori e sviluppatori, il benchmark potrà guidare l’evoluzione degli assistenti di programmazione AI verso una reale capacità di costruire applicazioni complete e affidabili.
