Una panoramica dei carichi IA nei data center

Secondo l’AI Operations Survey 2026 di Uptime Institute, il 53 % degli operatori intervistati dichiara di ospitare carichi di intelligenza artificiale. Tra questi, il 73 % accoglie attività di inferenza, mentre circa due terzi gestiscono anche carichi di addestramento. Le attività si sovrappongono: il 55 % dei rispondenti ospita sia inferenza sia addestramento, il 18 % solo inferenza e il 12 % solo addestramento; il restante 15 % riferisce altre tipologie di carichi IA.

Chris Brown, direttore tecnico di Uptime Institute, evidenzia che l’inferenza si integra più agevolmente nelle infrastrutture esistenti perché utilizza cluster più piccoli, meno impegnativi per impianti elettrici e sistemi di raffreddamento. Questa caratteristica consente ai data center di accogliere nuovi casi d’uso senza dover investire in risorse paragonabili a quelle di un campus hyperscale.

Differenze tra hyperscaler e data center aziendali

L’indagine rivela un divario marcato tra le tipologie di operatori. Due terzi degli hyperscaler ospitano simultaneamente addestramento e inferenza, contro circa la metà dei data center aziendali. L’avanzata degli hyperscaler deriva dalla loro maggiore capacità elettrica, dallo spazio disponibile e dal raffreddamento più efficace, che permettono di gestire cluster GPU più densi e carichi più esigenti.

Dominio dei grandi modelli di linguaggio (LLM) nell’addestramento

Tra le attività di addestramento, i grandi modelli di linguaggio (LLM) occupano la prima posizione: il 65 % degli operatori che eseguono addestramento dichiara di gestire LLM, davanti ai modelli di raccomandazione (40 %) e alla visione artificiale (34 %). Le percentuali non sono mutualmente esclusive; gli operatori possono gestire più tipologie contemporaneamente. Nei soli hyperscaler, il 90 % dichiara di eseguire addestramenti di LLM.

Le durate dei job di addestramento variano notevolmente:

    • 40 % dei rispondenti indica una durata tipica tra 2 e 7 giorni;
    • 23 % tra 2 e 4 settimane;
    • 25 % a un mese o più;
    • 12 % una giornata o meno.

I trattamenti di più di un mese sono tipici degli hyperscaler che utilizzano grandi modelli proprietari, mentre le esecuzioni brevi corrispondono spesso a fine‑tuning o a re‑addestramento con nuovi dati. L’etichetta “addestramento” copre quindi scenari molto diversi, dalla personalizzazione rapida a campagne di apprendimento prolungate.

Latenza: il criterio dominante per l’inferenza

Nel caso dell’inferenza, la necessità di tempo reale è preponderante: il 57 % degli operatori dichiara di gestire carichi in tempo reale, contro il 35 % per i batch e il 34 % per l’inferenza edge. Inoltre, il 70 % delle risposte indica che le loro attività di inferenza sono sensibili alla latenza.

“I tempi di risposta delle applicazioni sono al centro della pianificazione e del posizionamento dei carichi di inferenza”, afferma Brown. Questa sensibilità differenzia l’inferenza dalle campagne di addestramento più lunghe, poiché ogni ritardo è percepito direttamente dall’utente finale. Pertanto, la scelta del sito di esecuzione deve considerare non solo le risorse elettriche e termiche, ma anche la distanza geografica e la connettività necessarie a garantire la risposta attesa.

Strategie di integrazione: API, modelli open‑weights e RAG

Per integrare l’inferenza nelle applicazioni, il 47 % degli operatori utilizza modelli di fondazione accessibili tramite API. Il 34 % ricorre al fine‑tuning di modelli open‑weights, mentre il 33 % adotta la generazione aumentata da recupero (RAG). Queste modalità non sono mutualmente esclusive e rappresentano approcci differenti di integrazione.

L’accesso via API è rapido e richiede minime attività di implementazione, poiché l’inferenza è ospitata in strutture terze. Tuttavia, questo approccio riduce il controllo sull’integrità dei dati, sui costi operativi e, in alcuni casi, sulle prestazioni.

“Rinunciate a parte del controllo sulla riservatezza dei dati, sui costi e forse anche sulle performance”, avverte Brown. La decisione di adottare un’API rispetto a una soluzione on‑premise implica quindi una valutazione tra comodità operativa e governance dell’infrastruttura.

Verso una specializzazione delle infrastrutture

Uptime Institute prevede una crescente specializzazione delle strutture: l’inferenza dovrebbe proliferare nei data center aziendali, mentre l’addestramento su larga scala si concentrerà negli hyperscaler dotati di elevata disponibilità elettrica. Non si tratta ancora di una separazione netta, ma di una tendenza verso una distribuzione più differenziata dei carichi.

Tutte le strutture, di qualunque dimensione, stanno già adottando rack con densità GPU più elevate, ma le scale variano. L’obiettivo non è solo “accogliere l’IA”, ma distinguere i profili di carico, le loro durate, le esigenze di capacità e i requisiti di risposta. Solo così gli operatori potranno adeguare le proprie infrastrutture, concentrando l’addestramento in hub hyperscale e diffondendo l’inferenza più ampiamente.