L'argomento dei tecnocritici contro la rivoluzione dell'IA è il suo elevato fabbisogno infrastrutturale. Energia elettrica per l'addestramento dei modelli avanzati, acqua per il raffreddamento dei data center e la pressione sui minerali per la produzione di semiconduttori e chip per processori ad alte prestazioni. La popolare espressione "bruciare un cespuglio con un singolo prompt" potrebbe essere esagerata, ma non del tutto fuori luogo.

Per fare un esempio, eseguire inferenze su un modello Gemma 3 1B a precisione mista (FP16) richiede almeno 2,2GB di VRAM, disponibili in un laptop HP Victus o Lenovo LOQ da 16GB di RAM e 8GB di VRAM (come l'NVIDIA RTX 3050) al prezzo di circa 700 dollari; per un modello da 10 miliardi di parametri come il GPT-NeoX-20B, invece, servirebbe un PC gaming preassemblato o personalizzato da 1.500 dollari con una RTX 5060 Ti (16GB). Senza contare che il costo delle inferenze è solo una frazione di quello dell'addestramento o del fine-tuning di un modello con lo stesso numero di parametri.

In questa situazione, il prezzo dell'intelligenza artificiale è una domanda proporzionale di risorse costose. Un modello più intelligente significa solo più parametri di addestramento e, di conseguenza, costi esponenzialmente crescenti.

Il dilemma: modelli ad alta precisione o modelli con meno parametri?

I modelli FP16 sono un approccio risparmioso in termini di risorse, poiché utilizzano una rappresentazione a 16 bit per memorizzare i pesi in metà della memoria, riducendo l'uso della VRAM del 50% rispetto ai modelli FP32 (precisione semplice). Tuttavia, sacrificano precisione e accuratezza, ma non preoccupatevi, perché è ancora possibile ottenere risposte quasi accurate per la maggior parte dei prompt.

Un altro approccio per domare il consumo di risorse dei modelli di IA è eseguire modelli ad alta precisione con meno parametri. I modelli ad alta precisione con meno parametri scambiano un'intelligenza elevata per l'accuratezza, data dai parametri con cui sono stati addestrati.

Il presupposto di entrambi gli approcci è quello di ottenere una superintelligenza a scapito delle risorse o accontentarsi di modelli significativamente limitati che possono essere eseguiti e addestrati su dispositivi di fascia media. In ogni caso, l'addestramento, il fine-tuning e l'utilizzo completo dell'IA sono ancora confinati in server multi-GPU dominati dall'hardware NVIDIA e dall'ecosistema CUDA.

La svolta di BitNet

Le innovazioni del 2024 di Microsoft nella quantizzazione e il modello BitNet LLM di punta a 1,58 bit stanno trasformando l'IA e il machine learning, allontanandosi in modo significativo dagli approcci che consumano molte risorse per ottenere l'intelligenza delle macchine. I modelli quantizzati ternari diventano efficienti in modo lineare utilizzando solo una frazione delle risorse usuali, offrendo un'intelligenza robusta ed efficienza delle risorse. Tuttavia, la quantizzazione ternaria ottimizza il modello BitNet LLM per la CPU piuttosto che per la GPU, poiché le GPU sono progettate per l'aritmetica in virgola mobile, non per quella ternaria.

Dare a BitNet LLM un vantaggio: Tether porta la rivoluzione BitNet ai dispositivi di livello utente

Il lavoro di Tether sullo sviluppo open source di BitNet ha prodotto due risultati straordinari:

    • La prima dimostrazione dell'efficienza di BitNet LLM su una GPU.
    • Forse lo sviluppo più notevole della ricerca di Tether è dimostrare che BitNet LLM può, in effetti, essere eseguito su GPU di livello consumer con un tempo di inferenza fino a otto volte più veloce rispetto alle CPU.

Tether ha introdotto un nuovo backend GPU basato su Vulkan, simile a quello utilizzato per il framework di fine-tuning QVAC Fabric LLM. Il backend GPU accelera l'inferenza e il fine-tuning precisi per il BitNet LLM a 1,58 bit su GPU di dispositivi edge. È agnostico rispetto alla GPU, consentendo a BitNet di essere eseguito in modo efficiente su quasi qualsiasi scheda grafica e rompendo la dipendenza eccessiva dai processori NVIDIA e dal runtime CUDA.

L'impressionante economia delle risorse GPU del BitNet LLM

La ricerca di Tether sull'IA dimostra che il modello BitNet-1B utilizza fino al 77,8% in meno di VRAM rispetto a Gemma 3-1B FP16 e il 65,6% in meno di VRAM rispetto a Qwen3-0.6B FP16. Sostituendo le moltiplicazioni in virgola mobile con addizioni e sottrazioni di interi ternari (-1,0,1), un modello BitNet LLM a 13 miliardi di parametri funziona con il 29% in meno di risorse GPU (VRAM) rispetto a un modello Qwen3 a 4 bit e 4 miliardi di parametri. Secondo la benchmark, il modello quantizzato a 1,58 bit può essere eseguito in modo efficiente con soli 2,8GB di VRAM, disponibili su computer di fascia media.

Framework di fine-tuning BitNet 13B LLM per dispositivi edge

Tether sta intensificando gli sforzi per scalare l'avanzamento dell'IA sui dispositivi edge: i dispositivi di consumo quotidiani e gli oggetti IoT. Il prodotto principale della loro ricerca su BitNet è un framework di fine-tuning local-first per il LLM, come annunciato nel loro ultimo comunicato stampa. Il framework di fine-tuning BitNet LLM consente il fine-tuning di diverse varianti di parametri del BitNet LLM, fino al modello a 13 miliardi di parametri, su dispositivi regolari come il Samsung S25, il Google Pixel 9 e l'iPhone 16.

Con il framework, gli utenti possono fine-tunare modelli BitNet a 125 milioni di parametri in circa 10 minuti su un Samsung S25 (GPU Adreno) per un dataset biomedico di circa 300 documenti (~18k token). Per modelli più grandi (come uno con 1 miliardo di parametri), il fine-tuning sullo stesso dataset biomedico richiede 1 ora e 18 minuti sullo stesso dispositivo e 1 ora e 45 minuti sull'iPhone 16.

Oltre all'integrazione del runtime Vulkan per il BitNet LLM, il loro lavoro sul framework di fine-tuning edge-first introduce un algoritmo di tiling dinamico per migliorare la velocità di fine-tuning e l'allocazione della memoria, ridurre il consumo energetico e mantenere la precisione tra CPU e GPU. L'algoritmo di tiling dinamico suddivide le grandi matrici in 'piastrelle' più piccole, le cui dimensioni possono essere regolate per adattarsi perfettamente alla RAM ad alta velocità della GPU (SRAM).

La dimostrazione di fine-tuning di BitNet da parte di Tether è la prima volta che un modello a 13 miliardi di parametri è stato addestrato con successo su un iPhone 16 e dispositivi simili; una procedura un tempo riservata ai data center centralizzati ad alte prestazioni può ora essere eseguita su hardware di consumo.

L'impatto potenziale si estende ai risparmi sui costi, alla facilità di sviluppo e all'adozione. L'addestramento di modelli di IA più intelligenti su dispositivi di uso quotidiano sblocca la superintelligenza per i diversi miliardi di utenti che si affidano a dispositivi edge per le loro attività quotidiane. Per le aziende, offre significativi risparmi sui costi e miglioramenti delle prestazioni. Inoltre, il vantaggio della privacy: l'esecuzione dei modelli sui dispositivi significa che i dati degli utenti non vengono caricati su server centralizzati.

La tecnologia dell'IA sta progredendo in due modi: scalando l'intelligenza e le applicazioni e migliorando l'efficienza delle risorse. La quantizzazione e la ricerca focalizzata sull'edge stanno perseguendo quest'ultimo. Tether Data fa un altro passo da gigante verso l'IA local-first, posizionandosi come "l'unico modo per portare la superintelligenza a miliardi di utenti".

Il futuro della tecnologia è la superintelligenza. Ma miliardi di utenti e agenti di IA non possono coesistere in data center condivisi controllati da BigTech. Tether è impegnata a rompere le convenzioni e a sviluppare un sistema sostenibile per un numero infinito di macchine intelligenti, agenti di IA e netizen.

Leggete il comunicato stampa completo su HuggingFace e seguite Tether per saperne di più sulle sue soluzioni di IA local-first.