Il NPU (Neural Processing Unit) è una terza zona di calcolo inserita direttamente nel chip del processore, accanto a CPU e GPU. Progettato per le moltiplicazioni di matrici alla base delle reti neurali, il NPU è estremamente efficiente dal punto di vista energetico, il che lo rende ideale per eseguire compiti di intelligenza artificiale in modo continuo senza prosciugare la batteria.

Da cosa nasce la voce dei “50 TOPS”

Il termine TOPS (trillions of operations per second) indica il numero teorico di operazioni che un chip può eseguire in un secondo. Un NPU pubblicizzato con 50 TOPS dovrebbe dunque compiere 50 000 miliardi di calcoli al secondo, ma solo a condizione di due precisazioni fondamentali: le operazioni sono conteggiate su numeri interi a 8 bit (INT8), formato tipico dei modelli compressi, e il valore rappresenta un picco teorico raggiungibile solo se i dati fluiscono senza alcuna micro‑pausa.

In pratica, la velocità di un modello di linguaggio dipende più dalla larghezza di banda della RAM che dal numero di TOPS. Il NPU non dispone di memoria dedicata; utilizza la stessa RAM della CPU e della GPU. Su una CPU Ryzen AI, la GPU integrata può trasferire dati a 125 GB/s, mentre il NPU è limitato a 60 GB/s. Questo significa che, in alcuni scenari, la GPU “senza etichetta IA” può generare testo più rapidamente di un NPU da 50 TOPS.

Il ruolo di Microsoft e il label Copilot+

Dal 2024 Microsoft ha imposto, per i cosiddetti Copilot+ PC, un minimo di 40 TOPS per il NPU. Tuttavia, senza software ottimizzato, il chip rimane inutilizzato. Fino a poco tempo fa, le sole funzioni sfruttate erano il flout di sfondo in videoconferenza e qualche effetto di correzione della webcam.

Le recenti dichiarazioni di AMD e Unsloth, risalenti al 19 novembre, hanno cambiato la situazione: Unsloth Desktop, un’applicazione open source, ora supporta i NPU dei processori Ryzen AI sia su Windows che su Linux, permettendo l’esecuzione di modelli di IA locali.

Quali processori includono il NPU e a quanti TOPS

Nel 2023 i tre principali fornitori di CPU per PC Windows hanno iniziato a integrare il NPU nelle loro line‑up portatili, ma con potenze diverse. Solo chi supera la soglia dei 40 TOPS può ottenere il marchio Copilot+.

    • AMD Ryzen 7040 e 8040 (XDNA 1): 10‑16 TOPS – non eleggibili Copilot+.
    • AMD Ryzen AI 300, AI 400 e AI Max (XDNA 2): 50 TOPS, fino a 55‑60 TOPS su AI 400.
    • Intel Core Ultra serie 1, HX e S (Meteor Lake, Arrow Lake): 11‑13 TOPS – non eleggibili.
    • Intel Core Ultra 200V e serie 3 (Lunar Lake, Panther Lake): fino a 48 TOPS su Lunar Lake, 50 TOPS su Panther Lake.
    • Qualcomm Snapdragon X e X2: 45 TOPS su X Elite, fino a 80 TOPS su X2 Elite.

Sotto Windows, gli strumenti proprietari di Microsoft (Recall, Click to Do, ricerca semantica, sottotitoli in tempo reale, Cocreator in Paint) sono i primi a sfruttare il NPU, ma la maggior parte di queste funzioni richiede una potenza di almeno 40 TOPS per essere attivate.

Le limitazioni pratiche del NPU

Le funzioni quotidiane, come il flout dello sfondo o la correzione del sguardo, non giustificano da sole un chip da 50 TOPS. I modelli Ryzen 8040 o i primi Core Ultra, pur avendo un NPU, rimangono sottoutilizzati. Anche il monitoraggio delle prestazioni tramite il Gestore attività di Windows è poco affidabile: durante test condotti da XDA Developers, la curva NPU mostrava costantemente 0 % nonostante il chip fosse attivo.

Come far girare un modello sul NPU AMD

L’annuncio di AMD rappresenta il punto di svolta perché rende l’uso del NPU accessibile senza scrivere codice. Tuttavia, la compatibilità è limitata alle architetture XDNA 2 (Ryzen AI 300, 400, Max) e richiede Windows 11 o Linux x64.

Procedura di installazione su Linux

Su Linux occorre:

    • Un kernel 7.0 o successivo con il driver amdxdna (oppure il pacchetto amdxdna‑dkms su kernel più vecchi).
    • Il firmware NPU aggiornato.
    • Rimuovere il limite di memoria memlock impostandolo a illimitato.

Una volta soddisfatti questi requisiti, è possibile installare Unsloth Desktop e scaricare i modelli compatibili.

Procedura di installazione su Windows

Su Windows la configurazione si svolge in quattro passaggi:

    • Installare Unsloth Desktop da GitHub o tramite il gestore winget.
    • Aprire il Model hub, attivare il filtro NPU e cliccare su Enable NPU; l’app scaricherà automaticamente FastFlowLM e verificherà il driver.
    • Scaricare un modello compatibile NPU; la barra di avanzamento può apparire bloccata a causa del grande volume di dati.
    • Aprire la scheda New Chat, selezionare il modello nella sezione NPU, impostare la dimensione del contesto e avviare la conversazione.

È fondamentale rispettare i vincoli di formato e memoria: il NPU accetta solo il formato compresso a 4 bit, chiamato Q4NX. I file GGUF di Ollama, ad esempio, devono essere convertiti tramite gli strumenti di Unsloth o tramite i modelli già preparati di FastFlowLM.

AMD cita il modello Qwen 3.6 35B A3B (35 miliardi di parametri, 3 miliardi attivi per token) che richiede circa 28 GB di memoria riservata al NPU per la sua finestra di contesto completa.

Prospettive future e conclusioni

Il NPU ha finalmente una via d’uscita dal ruolo di semplice “effetto estetico” nelle webcam: ora può alimentare modelli di linguaggio locali, aprendo la porta a una nuova generazione di applicazioni AI offline. Tuttavia, le metriche di TOPS rimangono una vetrina più che una garanzia di prestazioni reali, poiché la velocità dipende in gran parte dalla larghezza di banda della RAM e dal supporto software.

Per gli utenti che cercano efficienza energetica e capacità di elaborazione AI senza dipendere da cloud, la combinazione di un NPU da 50 TOPS con Unsloth Desktop rappresenta un passo avanti significativo. Resta però il lavoro da fare per ottimizzare driver, firmware e tool di sviluppo, così da trasformare il potenziale teorico in risultati tangibili sul campo.