Per molte realtà aziendali il tema non è più capire se usare l'intelligenza artificiale, ma decidere dove eseguire i modelli e come integrarli nei processi reali dell'impresa. Vale per i LLM (Large Language Models) utilizzati per generare e analizzare testo, ma anche per modelli destinati a computer vision, analisi dei dati, automazione e applicazioni specialistiche.

Utilizzare un modello attraverso un'API cloud è spesso il modo più rapido per iniziare. La situazione cambia però quando l'AI deve lavorare ogni giorno su codice sorgente proprietario, documentazione tecnica, dati di ricerca, informazioni finanziarie o altri contenuti che l'impresa deve mantenere sotto il proprio controllo. In questi casi diventa interessante poter eseguire, testare e adattare i modelli AI direttamente in locale.

L'AI locale non va quindi vista come alternativa assoluta al cloud, ma come un'opzione infrastrutturale in più: permette a sviluppatori e data scientist di sperimentare vicino ai dati e, quando il progetto cresce, di trasformare il modello in un servizio utilizzabile da un team o da un intero reparto.

Perché eseguire LLM e modelli AI in locale

Eseguire LLM e modelli AI in locale può aiutare le aziende a mantenere maggiore controllo sui dati, ridurre la latenza, contenere i costi variabili e gestire meglio requisiti di sicurezza e governance.

Il cloud mantiene vantaggi evidenti: permette di accedere rapidamente a grandi quantità di capacità di calcolo, assorbire picchi e sperimentare senza investimenti iniziali importanti. HP stessa non lo presenta come un avversario da sostituire. Il punto è evitare che resti l'unica possibilità.

Più l'AI entra nei processi aziendali, più emergono infatti esigenze differenti. I dati possono essere personali, riservati, sensibili o coperti da proprietà intellettuale; un'applicazione può richiedere tempi di risposta prevedibili; migliaia di interrogazioni quotidiane possono trasformare un costo a token in una voce difficile da stimare; alcuni modelli devono essere personalizzati e osservati molto più da vicino di quanto consenta un servizio completamente gestito.

Secondo HP, portare una parte (o la totalità, a seconda delle esigenze) dell'AI in locale può aiutare a mantenere i dati sotto controllo, ridurre la latenza e contenere i costi variabili.

Dallo sviluppo locale alla produzione: come cresce un progetto AI

Un progetto AI può partire dalla sperimentazione di un singolo sviluppatore e crescere fino a diventare un servizio condiviso da un team o da un reparto.

HP ZGX Nano AI Station è pensata per la fase in cui uno sviluppatore, un data scientist o un ricercatore deve provare modelli, eseguire fine-tuning e validare un'idea direttamente sui dati disponibili. Quando quella stessa applicazione deve essere utilizzata da più persone, sostenere richieste simultanee e diventare un servizio stabile per un team o un reparto, entra in gioco HP ZGX Fury AI Station.

Un produttore di macchinari potrebbe voler creare un assistente capace di cercare informazioni all'interno di manuali tecnici, procedure di manutenzione e ticket storici. Una software house potrebbe desiderare un coding assistant che utilizzi repository e documentazione proprietaria. Una banca o un'assicurazione potrebbero costruire sistemi di ricerca e classificazione su documenti che non devono lasciare determinati confini organizzativi.

Nella prima fase serve poter provare rapidamente modelli differenti, misurare i risultati, modificarli e capire se il caso d'uso funziona davvero. Una volta validato il progetto, il problema cambia: bisogna renderlo disponibile agli altri.

È proprio il passaggio dal singolo sviluppatore alla capacità condivisa che distingue i due livelli della proposta HP.

HP ZGX Nano: un laboratorio AI sulla scrivania

HP ZGX Nano è una AI Station compatta pensata per sviluppare, testare, adattare ed eseguire LLM e altri modelli AI direttamente in locale.

Il sistema utilizza NVIDIA GB10 Grace Blackwell Superchip, mette a disposizione 128 GB di memoria unificata LPDDR5X e arriva fino a 1.000 TOPS FP4. HP indica la possibilità di sviluppare, testare ed eseguire modelli fino alla classe dei 200 miliardi di parametri; collegando due Nano tramite NVIDIA ConnectX-7, il limite dichiarato sale a 405 miliardi.

La quantità di memoria è uno dei fattori decisivi quando si lavora con modelli AI in locale. Non basta avere una GPU molto veloce: il modello deve anche "stare" in memoria insieme ai dati necessari per eseguirlo o adattarlo.

Per questo i 128 GB di memoria unificata di HP ZGX Nano sono rilevanti: consentono di affrontare modelli e attività che su sistemi con meno memoria richiederebbero continui trasferimenti di dati o configurazioni più complesse.

Un esempio concreto arriva dal case study dell'Institute of Science and Technology Austria: utilizzando LLMQ (framework C++/CUDA per il pretraining e il fine-tuning efficiente dei LLM, progettato per ridurre il consumo di memoria e rendere praticabile il training anche su hardware locale), i ricercatori hanno mostrato che su HP ZGX Nano è possibile eseguire training FP8 di modelli fino a 7 miliardi di parametri senza ricorrere all'offloading, cioè senza spostare continuamente parte dei dati fuori dalla memoria principale del sistema.

In questo modo si riduce significativamente la complessità tecnica e lo sviluppatore può concentrarsi maggiormente sul modello e sui dati.

HP ZGX Nano, inoltre, non deve sostituire il PC dello sviluppatore. Può funzionare come risorsa AI dedicata collegata alla rete: l'utente continua a lavorare dal proprio computer Windows, macOS o Linux e utilizza Nano per eseguire i carichi di lavoro più pesanti.

HP ZGX Toolkit: PyTorch, MLflow, Ollama e gli strumenti per sviluppare AI in locale

HP ZGX Toolkit semplifica la configurazione dell'ambiente e l'uso sulla AI Station di strumenti open source già diffusi nello sviluppo AI. Il vantaggio di una piattaforma locale cresce, infatti, se non obbliga gli sviluppatori ad abbandonare strumenti e framework già conosciuti.

Su HP ZGX Nano, HP utilizza NVIDIA DGX OS e lo stack software NVIDIA, affiancandoli a HP ZGX Toolkit. HP mette a disposizione uno stack composto da strumenti open source già molto diffusi nello sviluppo AI, ad esempio i seguenti:

    • PyTorch serve per costruire, adattare e addestrare modelli;
    • CUDA permette di sfruttare l'accelerazione GPU;
    • MLflow gestisce il ciclo di vita dei modelli;
    • Ollama facilita il deployment di modelli locali.

Questi strumenti, combinati con l'hardware potente di HP ZGX Nano, offrono un ambiente completo per lo sviluppo e il test di modelli AI in locale, riducendo la necessità di dipendere da soluzioni cloud per le fasi iniziali di un progetto.