Configurazione hardware e scelta del modello

Al cuore del sistema troviamo quattro schede Radeon AI PRO R9700, ciascuna dotata di 32 GB di memoria GDDR6 e basata sull’architettura RDNA 4. Le GPU sono collegate tramite PCI Express 5.0 x16, garantendo una larghezza di banda elevata per i trasferimenti dati. In totale il PC dispone di 128 GB di VRAM dedicata all’IA, affiancata da circa 122 GB di RAM di sistema, il tutto operante su Ubuntu 26.04 con kernel Linux 7.0 ottimizzato per i trasferimenti PCIe.

Ogni GPU consuma circa 211 W, per un totale di quasi 844 W solo per le schede video. L’alimentatore necessario è quindi di almeno 1 200 W, con un’attenzione particolare al raffreddamento.

Il modello eseguito è Qwen3.8‑Flash‑Next, un LLM di circa 180 miliardi di parametri basato su una architettura Mixture of Experts (MoE). Grazie al MoE, solo una frazione degli “esperti” viene attivata per token, riducendo il consumo di memoria rispetto a un modello denso. La versione quantizzata occupa 113,6 GiB, consentendo di distribuirla uniformemente tra le quattro GPU.

Motore di inferenza e performance

Inizialmente il setup usava llama.cpp, raggiungendo 65‑75 token al secondo con generazione speculativa. Successivamente è stato adottato Radiance, un motore di inferenza in C++ e HIP che sfrutta il parallélismo tensoriale: ogni token viene calcolato simultaneamente dalle quattro GPU.

Con Radiance i risultati sono saliti drasticamente: 236 token/s con un singolo flusso, 371 token/s con due flussi, 591 token/s con quattro, 890 token/s con otto e, infine, 1 192 token/s con sedici flussi simultanei.

Il test ha inoltre confrontato una configurazione unificata (quattro GPU in un unico gruppo) con una suddivisa in due gruppi da due GPU. La configurazione unificata ha prodotto 1 192 token/s contro i 917 token/s della modalità 2+2, dimostrando che la suddivisione aumenta gli scambi tra VRAM e RAM, penalizzando il throughput.

Impatto della VRAM da 128 GB

    • Consente di tenere quasi interamente in GPU il checkpoint da 113,6 GiB, riducendo al minimo i trasferimenti verso la RAM.
    • Ogni R9700 riserva circa 12,74 GiB per il cache KV, necessario a memorizzare la cronologia della conversazione e a gestire finestre di contesto estese.
    • Con meno di 96 GB di VRAM, un modello di queste dimensioni richiederebbe pesanti scaricamenti su RAM, aumentando drasticamente la latenza.

Usi pratici e limitazioni

Con 1 192 token/s distribuiti su 16 flussi, ogni utente può attendersi circa 70‑75 token al secondo. Una risposta di 700 token viene generata in meno di 10 secondi, anche con più di una decina di sessioni concorrenti. Questo rende la macchina adatta a server IA domestici, workstation per agenti autonomi, assistenti di programmazione o chatbot aziendali.

Le principali limitazioni sono di natura energetica e termica. Oltre a un consumo di 800 W per le GPU, è necessario un sistema di raffreddamento robusto: il costruttore ha modificato il case Thermaltake aggiungendo una seconda piastra di ventilazione sollevata di 3,8 cm, con staffe in acciaio e magneti per facilitare l’uscita dell’aria calda.

Considerazioni economiche e prospettive future

Un investimento di questo tipo è ancora riservato a pochi appassionati, laboratori o piccole imprese. Due schede R9700 già superano i cinque cifre di spesa, quindi quattro GPU rappresentano un costo significativo. Per la maggior parte degli utenti, una singola GPU da 32 GB o una macchina con 128 GB di memoria unificata sarà più che sufficiente.

Tuttavia, il progetto dimostra che è possibile realizzare un vero “mini‑datacenter” all’interno di una torre da desktop, a patto di accettare i requisiti di potenza e rumore. Con l’avanzare delle tecnologie GPU e la diffusione di modelli MoE più efficienti, potremmo assistere a una democratizzazione ancora maggiore dell’IA locale.