Supermicro e SambaNova hanno annunciato il 3 novembre 2026 un partenariato strategico per la produzione, vendita e supporto di sistemi di inferenza IA. Questi sistemi integreranno GPU NVIDIA e unità di flusso dati reconfigurabili SN50 di SambaNova, con un piano iniziale che prevede la produzione di 10.000 chip SN50.
L'architettura ibrida per l'inferenza IA
L'architettura dei nuovi sistemi divide l'inferenza in due fasi distinte. Durante la fase di pre-riempimento, i GPU NVIDIA gestiscono il prompt iniziale, un'operazione intensiva dal punto di vista computazionale. Successivamente, le unità SN50 si occupano del decodificare, generando la risposta token per token, un processo che richiede principalmente memoria.
Secondo SambaNova, questa suddivisione delle fasi tra hardware specializzati permette un'inferenza più veloce ed efficiente rispetto all'uso di un singolo tipo di hardware. L'azienda sottolinea che l'IA agentica è il principale caso d'uso per questa tecnologia, poiché gli agenti eseguono migliaia di chiamate a grandi modelli linguistici, con il decodificare che diventa un fattore critico per le prestazioni.
Le caratteristiche tecniche del SN50
Il SN50 è la quinta generazione di unità di flusso dati reconfigurabili di SambaNova. La scheda tecnica ufficiale indica una lavorazione TSMC a 5 nanometri, 432 MB di SRAM integrata e 64 GB di HBM2E, con la DDR5 come terzo livello di memoria. La puce è progettata specificamente per la fase di decodificare, sfruttando l'architettura Reconfigurable Dataflow Architecture di SambaNova.
La documentazione del prodotto di SambaNova evidenzia che questa progettazione permette un'inferenza più rapida, un miglior throughput e un'efficienza energetica superiore. Le operazioni sono incatenate in un flusso di dati continuo, riducendo i trasferimenti ripetuti in memoria e i costi associati al riavvio delle attività. I diversi livelli di memoria hanno ruoli specifici: la SRAM conserva i dati frequentemente utilizzati vicino al calcolo, la HBM2E memorizza i pesi attivi dei modelli e il cache KV frequentemente utilizzato, mentre la DDR5 ospita i cache dei prompt, i pool di modelli più grandi e il cache KV raramente utilizzato.
Il deployment e le sfide dei data center
I clienti potranno acquistare i sistemi integrati direttamente da Supermicro, attraverso lo stesso canale utilizzato per il resto della loro infrastruttura IA. Il deployment inizierà con i neo-cloud e i cloud sovrani, per poi estendersi alle aziende che utilizzano l'IA nei propri data center.
Le aziende sottolineano che il SN50 può eseguire grandi modelli a velocità elevate e con un alto throughput, senza richiedere una densità di potenza estrema per rack. Questo facilita l'installazione dei sistemi nei data center esistenti e supporta la modernizzazione delle infrastrutture attuali. L'aggiunta di unità SN50 per il decodificare può aumentare la capacità di inferenza senza dover attendere nuove costruzioni, che spesso si scontrano con limitazioni di alimentazione e raffreddamento.
Supermicro e SambaNova prevedono che la loro collaborazione porterà a una capacità di inferenza ad alte prestazioni significativamente superiore nel 2027. Tuttavia, rimane da vedere se le installazioni pianificate delle unità SN50 potranno aumentare la capacità di inferenza utile nelle infrastrutture esistenti come annunciato dalle aziende.