Introduzione al concetto di memoria computazionale CXL

Il termine Computational Memory (CM) indica una tecnologia che combina capacità di calcolo e di archiviazione nello stesso dispositivo hardware. Grazie allo standard Compute Express Link (CXL), introdotto nel 2020 da un consorzio guidato da Intel, AMD e altri leader del settore, è possibile collegare direttamente la memoria a livello di chip senza passare per il tradizionale bus PCIe. Questo riduce drasticamente la latenza di accesso ai dati e consente di eseguire operazioni di elaborazione direttamente nella memoria, un vantaggio cruciale per i modelli di intelligenza artificiale (IA) di grandi dimensioni.

XCENA, azienda specializzata in soluzioni di accelerazione hardware per IA, ha lanciato il modulo MX1 CXL, il primo prodotto commerciale che sfrutta la capacità di condividere una Key‑Value (KV) cache tra più server di inferenza. La KV cache è una struttura dati fondamentale per i modelli transformer, in cui le chiavi e i valori delle attenzioni devono essere mantenuti in memoria per ogni token elaborato.

Come funziona la KV cache condivisa

Nel tradizionale approccio, ogni server di inferenza dispone di una propria cache KV locale, duplicando i dati e aumentando il consumo di memoria RAM. Con l’architettura MX1, la cache è centralizzata in un modulo CXL che può essere acceduto simultaneamente da più nodi di calcolo. Il flusso operativo è il seguente:

    • Il modello di linguaggio invia una richiesta di token al modulo MX1.
    • Il modulo recupera le chiavi e i valori dalla cache condivisa, evitando la ricostruzione dei tensori per ogni server.
    • Il risultato dell’attenzione viene scritto nuovamente nella cache, rendendolo immediatamente disponibile agli altri nodi.

Questa architettura riduce la quantità di dati duplicati del 30‑40% e abbassa la latenza di accesso di circa 2‑3 microsecondi rispetto ai sistemi basati su RAM tradizionale, secondo i benchmark forniti da XCENA.

Benefici per le applicazioni di inferenza

Le principali applicazioni che traggono vantaggio da questa soluzione includono:

    • Chatbot generativi su larga scala, dove più server gestiscono conversazioni simultanee.
    • Motori di ricerca semantici che richiedono attenzione multi‑head su documenti lunghi.
    • Servizi di traduzione in tempo reale, dove la velocità di risposta è critica.

In tutti questi casi, la capacità di condividere la KV cache consente di scalare orizzontalmente senza incorrere in costi proibitivi di memoria.

Partnership con SK hynix e la tecnologia CXL Hybrid

Per realizzare il modulo MX1, XCENA ha collaborato con SK hynix, uno dei principali produttori di DRAM e NAND al mondo. La collaborazione ha portato allo sviluppo della prima soluzione CXL Hybrid, che combina memoria volatile (DRAM) e non volatile (NAND) in un unico dispositivo CXL.

Le caratteristiche chiave della soluzione CXL Hybrid includono:

    • Memoria DRAM ad alta velocità per operazioni di calcolo intensive.
    • Storage NAND a bassa latenza per la persistenza dei dati di modello e per la cache di livello 2.
    • Un controller CXL 2.0 che gestisce dinamicamente il bilanciamento tra DRAM e NAND in base al carico di lavoro.

Questa architettura ibrida permette di mantenere le prestazioni di una memoria completamente volatile, ma con la capacità di persistere dati critici senza ricorrere a soluzioni di storage esterne, riducendo ulteriormente la latenza complessiva.

Esempio pratico: modello LLaMA 2 70B

Un test interno condotto da SK hynix ha mostrato che, eseguendo il modello LLaMA 2 da 70 miliardi di parametri su un cluster di otto server collegati al modulo MX1, la latenza media per token è scesa a 6,8 ms**, rispetto ai 9,5 ms tipici di un cluster basato su DRAM tradizionale. Inoltre, il consumo energetico è diminuito del 22%, grazie alla riduzione delle operazioni di copia dati tra CPU, GPU e RAM.

Implicazioni per il mercato dei data center

La capacità di condividere KV cache e di utilizzare memoria ibrida CXL apre nuove opportunità per i fornitori di cloud e per le aziende che gestiscono propri data center. Alcuni scenari di adozione includono:

    • Riduzione del TCO (Total Cost of Ownership): meno moduli DRAM da acquistare e meno energia consumata.
    • Scalabilità più fluida: aggiungere nuovi nodi di inferenza senza ricalibrare la cache.
    • Maggiore densità di carico di lavoro: più richieste per GPU per watt.

Le principali piattaforme cloud, tra cui Amazon Web Services, Microsoft Azure e Google Cloud, hanno già iniziato a valutare l’integrazione di soluzioni CXL nei loro prossimi refresh hardware, prevedendo un impatto significativo entro il 2028.

Prospettive future e sfide da affrontare

Nonostante i vantaggi evidenti, la diffusione di soluzioni CXL come l’XCENA MX1 richiede superare alcune barriere:

    • Standardizzazione: il CXL è ancora in evoluzione; le versioni 2.0 e 3.0 introdurranno nuove funzionalità di coherency e sicurezza.
    • Compatibilità hardware: le CPU attuali devono supportare il protocollo CXL nativamente, il che implica aggiornamenti di firmware e BIOS.
    • Costi iniziali: i moduli ibridi combinano tecnologie avanzate e possono avere un prezzo più elevato rispetto alle soluzioni tradizionali.

Le aziende che investiranno ora nella ricerca e nello sviluppo di software ottimizzato per CXL potranno ottenere un vantaggio competitivo, soprattutto nei settori dell’AI generativa, della simulazione scientifica e del rendering in tempo reale.