Il nuovo modello Nemotron 3.5 Bolt E4B 4 GB, presentato da NVIDIA, rappresenta una svolta per gli sviluppatori che desiderano implementare agenti conversazionali, personaggi interattivi per videogiochi e robot autonomi direttamente sui dispositivi di bordo. Con un totale di 8 miliardi di parametri, di cui 4 miliardi effettivi, Bolt è stato post‑addestrato a partire da Gemma 4 E4B di Google, utilizzando esclusivamente tecniche di apprendimento per rinforzo (RL) senza ricorrere al tradizionale fine‑tuning supervisionato.

Caratteristiche tecniche e benchmark

Il modello supporta un contesto di 64 KB, consentendo conversazioni estese senza perdita di coerenza. Nelle misurazioni interne di NVIDIA, la versione quantizzata Q4KM occupa tra 3,1 e 4,3 GB di VRAM su schede RTX, rendendola adatta anche a sistemi con risorse limitate. Su 21 benchmark di valutazione, Nemotron 3.5 Bolt ha ottenuto il punteggio più alto in 15 test, superando Gemma 4 E4B, Qwen 3.5‑4B e Nemotron 3 Nano 4B.

    • IH‑Eval: 84,8 (vs 67,0 Gemma 4 E4B, 60,6 Qwen 3.5‑4B)
    • Tau2‑Bench: 55,1 (circa 20 punti inferiore a Qwen 3.5‑4B, che segna 75,1)
    • Incremento medio del 40 % rispetto a Nemotron 3 Nano 4B
    • Riduzione fino all’80 % del numero di token generati in modalità ragionamento

Secondo Scale Labs, Bolt è al primo posto tra i piccoli modelli nel MultiChallenge, con una percentuale di successo del 56,03 %.

Efficienza e velocità di esecuzione

Un punto di forza di Bolt è l’imbattibile rapporto fra consumo di memoria e capacità di risposta. Con circa 4 GB di VRAM, il modello permette di eseguire contemporaneamente moduli di sintesi vocale e visione artificiale, mantenendo spazio sufficiente per altri componenti dell’applicazione. NVIDIA ha dimostrato un robot Reachy Mini, dotato di Jetson Orin Nano 8 GB, in cui il modulo di visione Cosmos 3 Edge elabora le immagini mentre Bolt genera risposte vocali e gestisce chiamate a strumenti esterni.

Per migliorare la latenza, Bolt è stato abbinato a un drafter chiamato DFlash, basato sul decoding speculativo. Su una RTX 5070, la combinazione Bolt + DFlash raggiunge 272,6 token al secondo, rispetto ai 225,9 token al secondo di Gemma 4 E4B con il suo drafter MTP, con un incremento di velocità del 21 %.

Gestione delle chiamate a strumenti

Il modello supporta chiamate multi‑turn a tool esterni, includendo istruzioni specifiche per le chiamate asincrone. Un flag denominato conversational_mode permette di generare risposte brevi, ottimizzate per la lettura ad alta voce. Inoltre, il ragionamento è configurabile mediante un budget di riflessione che limita la latenza durante l’esecuzione.

Strategia di addestramento e quantizzazione

NVIDIA ha scelto di non utilizzare il tradizionale fine‑tuning supervisionato, poiché questo approccio migliorava le chiamate a strumenti ma peggiorava la qualità della conversazione e aumentava la verbosità di Gemma. Invece, il team ha impiegato RLVR e RLHF tramite le librerie NeMo‑RL e NeMo‑Gym. Ogni campione è stato addestrato in due modalità: con ragionamento e senza ragionamento, mantenendo un rapporto di 2 : 1 a favore della seconda modalità.

Per evitare risposte eccessivamente lunghe, sono state introdotte penalità di lunghezza all’interno dell’ambiente GenRM. Il checkpoint originale in formato BF16 è stato successivamente quantizzato in Q4KM usando una calibrazione basata su una matrice di importanza, derivata da circa un milione di token generati durante le roll‑out di RL.

Disponibilità dei dati e della ricetta

Tutti i dataset impiegati e la ricetta completa di addestramento sono stati resi pubblici, consentendo a ricercatori e sviluppatori di replicare o estendere il modello. Bolt è presentato come la terza generazione di piccoli modelli dedicati ai personaggi di gioco nell’ambito NVIDIA ACE.

Applicazioni pratiche e scenari d’uso

Le tre aree di interesse principali per Nemotron 3.5 Bolt sono:

    • Assistenti vocali per dispositivi domestici e industriali
    • Personaggi interattivi per videogiochi e simulazioni immersive
    • Agenti embarcati per robotica, droni e sistemi IoT

Grazie alla sua leggerezza, Bolt può convivere con moduli di sintesi vocale e visione artificiale, offrendo un’esperienza completa di interazione multimodale senza sovraccaricare le risorse hardware.

Conclusioni

Nemotron 3.5 Bolt E4B 4 GB dimostra che è possibile coniugare prestazioni elevate, consumo contenuto di memoria e flessibilità d’uso in un unico modello di linguaggio aperto. La combinazione di RL‑based training, quantizzazione avanzata e supporto per chiamate a tool rende Bolt una scelta interessante per sviluppatori che vogliono implementare agenti intelligenti direttamente sul bordo, senza dipendere da infrastrutture cloud.