Databricks AI Runtime e NVIDIA semplificano la personalizzazione dei modelli open‑source con i dati aziendali

Le GPU alimentano le workload di intelligenza artificiale più avanzate, dai modelli di linguaggio all’avanguardia fino a sistemi multimodali e agenti autonomi. Sempre più aziende cercano di adattare modelli open‑source ai propri dati e alle proprie esigenze di business, ma l’accesso alle GPU è solo una parte della sfida.

Un ecosistema completo per la personalizzazione

Oltre a fornire potenza di calcolo, i team devono configurare job di addestramento, governare l’accesso ai dati e gestire l’infrastruttura GPU, riducendo il tempo dedicato alla sperimentazione. Databricks e NVIDIA offrono un percorso fluido dal Lakehouse aziendale ai modelli AI personalizzati, dal fine‑tuning di piccoli modelli all’addestramento distribuito su larga scala.

Con Unity Gateway, Databricks garantisce agli sviluppatori un accesso governato a modelli di frontiera e open‑source. Per chi deve personalizzare i modelli, AI Runtime (AIR) porta l’ecosistema software AI e le GPU serverless di NVIDIA direttamente sui dati aziendali.

Workflow end‑to‑end

I team possono sperimentare, effettuare il fine‑tuning e valutare i modelli in AIR, per poi distribuirli in tempo reale tramite Databricks Model Serving, il tutto all’interno della piattaforma Databricks, con minori oneri di infrastruttura e governance.

Novità annunciate al GTC Berlin

Durante il GTC di Berlino, Databricks e NVIDIA hanno annunciato l’estensione della loro collaborazione per semplificare ulteriormente la personalizzazione dei modelli open‑source. Databricks AIR è ora disponibile per il pubblico generale: gli sviluppatori possono utilizzare NVIDIA NeMo, i contenitori NGC e le nuove recipe book di Nemotron per addestrare e affinare modelli open‑source su GPU NVIDIA serverless.

Queste capacità offrono maggiore flessibilità, consentendo ai team di adattare i modelli a compiti aziendali specifici e di integrarli in applicazioni e agenti.

GPU serverless e training distribuito

AIR fornisce GPU NVIDIA serverless per training e fine‑tuning, così che gli sviluppatori eseguano il proprio codice e i contenitori esistenti a scala senza gestire l’infrastruttura. Grazie al supporto del training distribuito multinodo, è possibile scalare workload più grandi su più nodi GPU.

La rete NVIDIA Quantum InfiniBand garantisce alta larghezza di banda e bassa latenza con accesso diretto alla memoria remota (RDMA), mentre la NVIDIA Collective Communications Library (NCCL) gestisce la comunicazione tra GPU. Databricks si occupa della gestione dei cluster e delle reti sottostanti.

Esempio pratico: agente di supporto tecnico

Immaginiamo un’azienda che sviluppa un agente di supporto tecnico. Parte da un modello open‑source NVIDIA Nemotron e lo affina su ticket di supporto etichettati usando NVIDIA NeMo in AIR. Il team può sperimentare diversi approcci di addestramento e utilizzare MLflow per tracciare i risultati, adattando il modello ai flussi di lavoro di supporto specifici.

Gli sviluppatori preparano i dati nel Lakehouse e sperimentano in notebook potenziati da GPU o tramite la CLI di AIR, sfruttando un caricamento dati ad alte prestazioni e ambienti standard come PyTorch e CUDA. È possibile impiegare framework di training distribuito o portare librerie e loop di addestramento personalizzati.

Orchestrazione e governance

Una volta pronti gli esperimenti, i Lakeflow Jobs orchestrano l’intero processo: preparazione dati, training e valutazione, trasformando esecuzioni singole in flussi di lavoro ripetibili. I Declarative Automation Bundles supportano CI/CD per il deployment e l’aggiornamento di questi workflow.

MLflow registra esperimenti di training e utilizzo delle GPU, facilitando il confronto tra risultati di modelli e performance computazionali. Unity Catalog governa l’accesso ai dati di training, mentre le tabelle di sistema native forniscono visibilità sull’uso di CPU e GPU. Queste integrazioni consentono ai team di operare con i dati, la governance e gli strumenti operativi già familiari in Databricks.

Flessibilità oltre le GPU

Il training di modelli deep learning richiede più della semplice potenza di calcolo: servono flessibilità nei framework, nelle librerie e negli ambienti. AIR ora supporta Docker e registri privati, permettendo agli sviluppatori di portare ambienti containerizzati personalizzati alle loro workload GPU.

Gli sviluppatori possono utilizzare contenitori ottimizzati per GPU dal catalogo NGC di NVIDIA, integrati con il Databricks Artifact Registry, per incorporare il software NVIDIA in AIR. La cache dell’ambiente riduce i tempi di avvio, diminuendo l’overhead di configurazione durante le iterazioni di training.

Profilatura e ottimizzazione

È possibile installare gli strumenti di profiling di NVIDIA per analizzare l’esecuzione delle GPU e individuare colli di bottiglia. Insieme alle metriche di utilizzo tracciate da MLflow, questi strumenti aiutano i team a capire dove le workload spendono più tempo e a identificare opportunità di miglioramento.

Il team può quindi ottimizzare software e codice di training, mentre AIR gestisce l’infrastruttura GPU sottostante.

Personalizzazioni estese: oltre i LLM

AIR supporta la personalizzazione non solo dei Large Language Model, ma anche di altri scenari. Un flusso di lavoro di fine‑tuning validato è disponibile per NVIDIA Kumo Anomaly, un modello di ricerca open‑source per la rilevazione di anomalie in serie temporali, con tracciamento MLflow e checkpoint in Unity Catalog.

Questo supporta la visione di NVIDIA Agent Knowledge Foundation, che mira a creare uno strato di conoscenza per agenti intelligenti. Combinare Kumo‑Anomaly con Genie Ontology apre la strada a agenti consapevoli del contesto, capaci di collegare pattern anomali a significati aziendali e suggerire azioni successive.

Novità sui modelli Nemotron

Con il rilascio di Nemotron 3.5 Lightning e Super VL, i clienti Databricks possono caricare, sperimentare, adattare e servire questi modelli direttamente nella piattaforma fin dal primo giorno.

AIR consente la personalizzazione dei modelli con NVIDIA NeMo e NeMo Automodel, permettendo ai team di sfruttare gli strumenti NVIDIA in un ambiente GPU serverless. Nell’esempio dell’agente di supporto, gli sviluppatori possono usare queste toolchain per affinare Nemotron sui ticket storici, migliorando la comprensione dei prodotti, della terminologia e dei flussi di risoluzione specifici dell’azienda.

Genie Code come assistente di sviluppo

Genie Code aiuta gli sviluppatori a redigere e adattare gli script di training direttamente in notebook. Gli utenti descrivono le modifiche desiderate, richiedono configurazioni per il fine‑tuning e ottengono suggerimenti per risolvere errori. Il codice generato può essere revisionato e depurato prima di essere eseguito su GPU NVIDIA serverless.

Per il fine‑tuning, AIR combina caricamento dati ottimizzato, checkpoint e training con strumenti di osservabilità e debugging integrati. I risultati e le metriche GPU sono tracciati in MLflow, mentre Genie Code permette di:

• Generare script di training personalizzati in base a descrizioni ad alto livello;
• Automatizzare la configurazione di job distribuiti;
• Diagnosticare problemi di performance o compatibilità.

Dalla personalizzazione alla produzione

Dopo il fine‑tuning e la valutazione, i team possono distribuire i modelli personalizzati in produzione tramite Databricks Model Serving. Nell’esempio del supporto tecnico, il Nemotron adattato potrebbe alimentare un agente capace di interpretare le richieste di supporto in tempo reale e generare risposte contestuali basate sui prodotti e sui processi aziendali. Questo chiude il ciclo completo, dalla personalizzazione su GPU serverless al serving in tempo reale.