Una memoria computazionale per superare i colli di bottiglia dell’inferenza IA

Il semplice calcolo grezzo non è più sufficiente a rimuovere i colli di bottiglia che limitano le prestazioni dell’inferenza IA. XCENA, azienda fabless specializzata in soluzioni hardware, ha puntato su una memoria mutualizzata capace di elaborare i dati “sul posto”, riducendo drasticamente le copie e i trasferimenti tra server.

Durante l’OCP Global Summit 2026, tenutosi dal 12 al 15 ottobre al San Jose McEnery Convention Center, XCENA ha mostrato due dimostrazioni operative basate sul chip MX1. La soluzione, costruita su Compute Express Link (CXL), mira a rispondere all’aumento della domanda di capacità e al crescente costo dei movimenti di dati.

La cache KV condivisa via CXL

La prima dimostrazione ha mostrato come un pool di memoria CXL possa condividere un unico cache KV (key‑value) tra diversi server di inferenza IA. Il cache conserva il contesto già elaborato dal modello, rendendolo immediatamente disponibile per la generazione delle risposte successive.

La centralizzazione del cache evita la duplicazione dei dati su ciascun server, riducendo così le copie ridondanti e il traffico tra i nodi. Questo risparmio è particolarmente rilevante quando le sequenze di testo si allungano o quando più istanze servono richieste simili, due fattori che tradizionalmente penalizzano le prestazioni.

Near‑Data Processing per la ricerca vettoriale

Il secondo scenario ha sfruttato la funzione near‑data processing (NDP) di MX1 per accelerare la ricerca vettoriale, un passaggio cruciale nei sistemi di generazione aumentata per recupero (RAG). L’operazione avviene direttamente nella memoria dove risiedono i dati, evitando il costante trasferimento di grandi set verso il processore host.

Questa strategia di “elaborazione vicino alla memoria” genera vantaggi sia nella riduzione degli scambi di dati sia nella potenza delle unità di calcolo integrate nella memoria stessa. Harry Kim, Chief Product Officer di XCENA, ha illustrato il 14 ottobre l’introduzione della programmazione parallela generalista in questa architettura, durante la sessione “Bringing General‑Purpose Parallel Programming to Near‑Data Processing”.

Collaborazione con SK hynix: l’architettura ibrida SSD‑CMM‑D

Parallelamente, XCENA collabora con SK hynix per applicare una memoria CXL ibrida alle cariche di lavoro IA. Il progetto, denominato InfiniteMemory, utilizza l’estensione MX1 su SSD per offrire una capacità molto più estensibile rispetto a una tradizionale CMM‑D, mantenendo al contempo prestazioni superiori a quelle di un SSD puro.

Durante il summit, SK hynix ha presentato una soluzione “CXL Hybrid Memory” basata sul chip MX1 e un’architettura supportata da RDMA, dimostrando la fattibilità della configurazione in ambienti di servizio IA reali.

Impegno OCP e prospettive future

Harry Kim ha partecipato a un panel con Marvell, Samsung, SK hynix e Gottbrath Technologies intitolato “Beyond the Monolith: Open Middleware for Heterogeneous AI Infrastructure at Hyperscale”. Insieme a Samsung Electronics, ha co‑presentato la sessione “Disaggregated CXL Memory Architecture for Agentic AI: Dynamic Pooling, Sharing, and PNM Offloading”.

Grant Mackey, Distinguished Engineer di XCENA, è intervenuto accanto a Microsoft, Seagate e Meta nella sessione tecnica del sotto‑progetto OCP Composable Memory Systems, “Addressing Memory Wall challenge for AI and General Compute platforms”. L’incontro ha discusso i progressi del CMS e le prossime tappe per far fronte all’aumento della capacità e della larghezza di banda richieste sia dall’IA che dal calcolo generale.

Conclusioni di Jin Kim, CEO di XCENA

Per Jin Kim, l’efficienza delle infrastrutture IA dipende oggi tanto dall’uso ottimizzato della memoria quanto dalla riduzione dei trasferimenti, oltre che dal puro potere di calcolo. MX1 rappresenta un passo verso una più ampia evoluzione: con la cache KV condivisa, il NDP e l’estensione SSD, CXL si configura come una nuova “layer” architetturale capace di disaggregare la memoria dei server di inferenza, a patto che i guadagni promessi si confermino su scala produttiva.

    • Cache KV condivisa per eliminare duplicazioni
    • Near‑data processing per ridurre i trasferimenti di dati
    • Architettura ibrida SSD‑CMM‑D per capacità estensibile
    • Partecipazione attiva a standard OCP per la memoria disaggregata