Ogni applicazione AI in produzione genera milioni di punti dati preziosi sul business, dai gusti dei clienti ai pattern di utilizzo e ai risultati operativi, ma la maggior parte delle imprese non ne sfrutta il potenziale. Molte aziende si affidano a modelli di fondazione chiusi, costosi e poco allineati al contesto aziendale. Con l’avanzare dei modelli open‑weight, ora è possibile personalizzare l’intelligenza artificiale usando i propri dati e la propria conoscenza, senza dover gestire infrastrutture GPU complesse o dipendere da API gestite con flessibilità limitata.

Cos’è Cortex Training

Cortex Training è l’offerta serverless di Snowflake per la personalizzazione e il deployment di LLM open‑weight. La piattaforma permette ai team di utilizzare framework di training familiari o di creare loop di training avanzati con API serverless a basso livello, eliminando la necessità di gestire provisioning, scheduling, checkpointing ed esecuzione distribuita delle GPU.

Costruita su un backend open‑source altamente personalizzabile e ottimizzato, Cortex Training porta la flessibilità e l’efficienza di un cluster bare‑metal auto‑gestito in un’esperienza serverless semplificata. I benchmark mostrano costi fino al 61 % inferiori rispetto a soluzioni serverless concorrenti, consentendo alle aziende di non sacrificare semplicità, flessibilità o efficienza economica durante la personalizzazione dei modelli.

Integrazione con la piattaforma dati Snowflake

Grazie all’integrazione nativa con Snowflake, è possibile curare set di dati pronti per il training, catturare tracce e log degli agenti, e creare un ciclo di feedback continuo per migliorare costantemente i modelli. La piattaforma supporta l’intero ciclo di vita del modello: benchmark, personalizzazione, valutazione, confronto dei checkpoint e deployment tramite endpoint compatibili con OpenAI.

Metodi di post‑training supportati

I modelli open‑weight, per loro natura, sono generali ma possono essere ottimizzati per domini specifici, dati proprietari, casi d’uso e budget aziendali mediante post‑training. I due approcci principali sono:

    • Supervised Fine‑Tuning (SFT): insegna al modello il comportamento desiderato usando esempi di alta qualità. Un agente di assistenza clienti, ad esempio, può apprendere a diagnosticare problemi, comunicare con i clienti, applicare politiche di escalation e seguire pattern di chiamata di strumenti, riducendo la dipendenza da prompt complessi.
    • Reinforcement Learning (RL): ottimizza il comportamento del modello basandosi su feedback misurabili (risoluzione dei problemi, conformità alle politiche, latenza, costi). Un agente può imparare quando attivare un sistema di ticketing, chiamare un’API di fatturazione o coinvolgere un operatore umano, scoprendo percorsi più efficienti e bilanciando qualità, velocità e costi.

Supporto a framework e tecniche avanzate

Cortex Training supporta:

    • Fine‑tuning a pieno parametro o LoRA
    • RL tramite integrazioni con SkyRL, Hugging Face TRL, PrimeRL e veRL
    • Distillazione, pre‑training continuo e ottimizzazione delle preferenze
    • Modelli di famiglie come Qwen, GLM, Nemotron, Gemma, DeepSeek e altri, con diverse dimensioni di parametro

Casi d’uso reali

ResolveAI utilizza Cortex Training per creare agenti SRE AI in grado di investigare e risolvere problemi di produzione. Grazie alle API serverless, è possibile operare su centinaia o migliaia di GPU senza gestire l’infrastruttura, accelerando la ricerca e il raggiungimento degli obiettivi di performance.

OpenHands ha adottato Cortex Training per addestrare modelli RL che gestiscono compiti di programmazione. Prima dovevano gestire un proprio cluster, impiegando settimane in operazioni di manutenzione; ora dedicano il 100 % del tempo agli esperimenti, mantenendo i framework preferiti e senza compromessi sulla flessibilità.

Flusso di lavoro tipico

1. Benchmark dei modelli open‑weight disponibili (Qwen, Nemotron, Gemma, DeepSeek) rispetto a qualità, latenza e costo.

2. Curare set di dati di training usando Snowflake AI Functions, SQL e Snowpark per pulire, filtrare, arricchire e etichettare dati strutturati e non strutturati.

3. Catturare tracce e log degli agenti con Cortex AI Gateway, creando dataset per SFT, ottimizzazione delle preferenze o RL.

4. Avviare il training tramite script personalizzati o framework integrati; le API di Cortex gestiscono forward/backward, ottimizzatori, sincronizzazione dei pesi e checkpoint.

5. Valutare e confrontare checkpoint, quindi distribuire il modello tramite endpoint di inferenza compatibili con OpenAI.

Sicurezza e governance

Cortex Training estende i controlli di governance di Snowflake a tutto il ciclo di vita del modello. Le autorizzazioni basate sui ruoli regolano l’accesso a dati di training, processi di addestramento, deployment e inferenza. Dati, pesi del modello e stato dell’ottimizzatore rimangono all’interno dell’ambiente gestito da Snowflake, garantendo compliance e protezione dei dati sensibili.

In sintesi, Cortex Training offre una soluzione serverless completa per la personalizzazione di LLM open‑weight, combinando la potenza di GPU distribuite con la semplicità di gestione di Snowflake. Le aziende possono così trasformare i dati di produzione in modelli più accurati, rapidi ed economici, chiudendo il ciclo di feedback e mantenendo il controllo su ogni fase del processo.