Innovazione end-to-end per l'IA agéntica
MiTAC Computing Technology Corporation, una sussidiaria di MiTAC Holdings Corporation, ha presentato il suo ecosistema integrato di infrastruttura IA a SC26. Nel padiglione 4615, con il tema "Scalare l'IA agéntica. Costruito su un'infrastruttura a pila completa", MiTAC dimostra come la sua innovazione end-to-end superi i colli di bottiglia computazionali, termici e di dati nell'implementazione dell'IA aziendale.
A misura che l'IA agéntica spinge un aumento esponenziale nei carichi di lavoro di inferenza, l'infrastruttura di scaling richiede più della potenza bruta della GPU. Attraverso collaborazioni strategiche con AMD, Canonical, DDN, Intel, NVIDIA e Rafay, MiTAC offre architetture scalabili per fabbriche di IA che combinano raffreddamento liquido ad alta densità, inferenza disaggregata e orchestrazione end-to-end.
"Per scalare l'IA agéntica serve un'infrastruttura coesa, non sistemi frammentati", ha dichiarato Rick Hwang, presidente di MiTAC Computing Technology. "MiTAC fornisce la soluzione fondamentale a pila completa per realizzare fabbriche di IA sostenibili".
Sviluppo pionieristico di un motore di inferenza IA disaggregato
MiTAC e Skymizer stanno collaborando su un'architettura di inferenza che assegna il prefill intensivo di calcolo alle GPU e la decodifica intensiva di memoria alle schede acceleratrici HTX301 di Skymizer. Questo approccio è progettato per consentire alle aziende di approvvigionare ogni fase in base al proprio carico di lavoro, mantenendo l'inferenza del modello in loco.
La configurazione proposta combina due piattaforme di server:
- Fase di prefill: Il MiTAC G8825Z5 (8U), dotato di processori AMD EPYC™ 9575F o 9755 e GPU AMD Instinct™ MI350X, è proposto per l'elaborazione del prefill e il trasferimento della cache risultante chiave-valore (KV) al server di decodifica tramite una rete ad alta velocità.
- Fase di decodifica: Il MiTAC G4520G6 (4U), raffreddato ad aria, equipaggiato con processori Intel® Xeon® 6, è proposto con otto schede acceleratrici Skymizer HTX301-4S, ciascuna con 256 GB di memoria, fornendo 2 TB di memoria accelerata aggregata in otto slot PCIe.
Insieme, il server di decodifica collaborativo MiTAC G4520G6 è progettato per eseguire modelli massicci, come il modello di linguaggio a grandi dimensioni Kimi K3 da 2,8 trilioni di parametri, in loco presso il cliente per supportare carichi di lavoro complessi di IA e di ragionamento profondo.
Orchestrazione dell'ecosistema software a pila completa
Una fabbrica di IA scalabile richiede un ecosistema software coeso. Per una sicurezza fondamentale, Canonical Ubuntu fornisce il livello di sistema operativo certificato, garantendo un'implementazione fluida e una affidabilità di livello enterprise. L'integrazione della soluzione DDN Infinia assicura che i flussi di dati monumentali vengano elaborati con una latenza di I/O ultra-bassa, evitando la fame di dati dell'acceleratore.
Partendo da questa base, MiTAC collabora con Rafay per fornire alle organizzazioni l'orchestrazione dinamica di GPU come servizio (GPUaaS), assegnando efficacemente le risorse GPU attraverso carichi di lavoro distribuiti per eliminare l'ozio e massimizzare il ritorno sull'investimento. La chiave per integrare questo ecosistema è il software MiCoreView™ brevettato di MiTAC, una soluzione integrata di gestione POD che fornisce telemetria avanzata e visibilità unificata in tutto il data center.
Presentazione di un'infrastruttura IA diversificata attraverso innovazioni a livello di rack
Partendo dalla visione della dott.ssa Lisa Su, presidente e CEO di AMD, annunciata alla Global OCP Summit il mese scorso, MiTAC sta collaborando con AMD per sviluppare l'Helion Agentic AI Rack. Progettato specificamente per architetture agéntiche di prossima generazione a livello di rack, la prossima soluzione ORv3 44OU Helion scalerà fino a 32.768 core CPU AMD Zen 6 all'interno di uno stack open source, consentendo agli ambienti hyper-scale e enterprise di instradare in modo intelligente carichi di lavoro complessi e massimizzare l'efficienza degli agenti per watt.
In diretta dalla fiera SC26, MiTAC presenta anche tre innovazioni a livello di rack progettate per i carichi di lavoro moderni:
- Rack IA ad alta densità con raffreddamento liquido: Integrando 12 server MiTAC G4826Z5 con 96 GPU AMD Instinct™ MI355X, questa soluzione raggiunge una densità di GPU del 50% superiore rispetto alle implementazioni convenzionali.
- Rack avanzato di raffreddamento liquido: In collaborazione con ZutaCore, MiTAC presenta una PoC che integra il G4826Z5 con raffreddamento liquido diretto (DLC) a due fasi senza acqua. La vaporizzazione del fluido dielettrico direttamente sul chip consente di raggiungere potenze di progetto termico superiori a 4000 W e un flusso di calore superiore a 250 W/cm², consentendo un pPUE annualizzato di 1,03.
- Rack di archiviazione ad alte prestazioni: Progettato per alimentare l'IA agéntica senza colli di bottiglia di I/O, il rack di archiviazione di MiTAC, alimentato dalla piattaforma di dati IA intelligente DDN Infinia che utilizza sette server di archiviazione GC68C-B8056 da 1U, offre prestazioni ultra-elevate e bassa latenza per flussi di dati continui.
Espansione dell'infrastruttura con piattaforme di server integrate
Oltre all'architettura a livello di rack, MiTAC offre piattaforme di server integrate per implementazioni enterprise personalizzate:
Server IA
- G4827Z6: Un server IA enterprise modulare da 4U che sfrutta l'architettura NVIDIA MGX e i processori AMD EPYC™ 9006 SP7. È ottimizzato per le GPU NVIDIA RTX PRO 4500 e 6000 Blackwell Server Edition per vari carichi di lavoro di inferenza.
- G2610Z6: Un server GPU perimetrale compatto da 2U con processori AMD EPYC™ 9006 SP8. Si integra perfettamente con le GPU NVIDIA RTX PRO 4500 e 6000 Blackwell Server Edition, fornendo solide capacità di IA per ubicazioni perimetrali.
- TN85-B8261: Una piattaforma a doppio socket compatibile con la scheda PCIe AMD Instinct™ MI350P, che offre un'accelerazione IA altamente efficiente per applicazioni specializzate.
Server enterprise
- R1917GC: Questo server di gestione da 1U, che funge da cervello coordinatore dei data center perimetrali, utilizza processori NVIDIA Vera e NVIDIA Grace per coordinare cluster complessi senza GPU interne.
- R1610Z6: Dotato di processori AMD EPYC™ 9006 SP8 in un formato compatto da 1U, offre un eccezionale singolo socket di prestazioni per carichi di lavoro nativi del cloud.
Server multinodo
- M2810Z6: Un server multinodo 2U2N con processori AMD EPYC™ 9006 SP7, che ottimizza la densità di calcolo per infrastrutture iperconvergenti (HCI) definite dal software.
- C2611Z6: Un server multinodo con raffreddamento liquido progettato per rack OCP ORv3 e dotato di processori AMD EPYC™ 9006 SP8. Integra quattro nodi di calcolo in un formato compatto da 2OU, ciascuno compatibile con 16 slot DDR5-8000 RDIMM e espansione OCP 3.0 per infrastrutture ad alta densità con raffreddamento liquido.
I visitatori sono invitati a visitare MiTAC Computing nel padiglione 4615 dal 17 al 19 novembre presso il McCormick Place, Chicago.
