Che cos’è LFM2.5-24B-A2B e perché è rilevante
LFM2.5-24B-A2B è il modello aperto più recente della famiglia Liquid Foundation Models (LFM) pubblicata da Liquid AI il 13 ottobre 2026. Si tratta di un modello a esperti misti (mixture of experts, MoE) con 24 miliardi di parametri totali, di cui 2,45 miliardi attivi per ogni token. La compressione a 4 bit riduce il peso a 13,6 GB, mentre la versione a 8 bit sale a 25,5 GB e la precisione completa bf16 arriva a 48 GB.
Liquid AI, fondata negli Stati Uniti nel 2023, sviluppa LFM per funzionare direttamente su dispositivi locali – laptop, workstation e persino smartphone – anziché su data center. I pesi si scaricano gratuitamente da Hugging Face e possono essere eseguiti con strumenti come llama.cpp, MLX, Ollama o LM Studio.
Confronto con altri modelli locali
Nel panorama dei modelli “da tenere in casa”, Flint AI di Recursive propone un modello da 2,5 miliardi di parametri, mentre LFM2.5-24B-A2B offre 24 miliardi ma con una frazione di parametri attivi che lo rende competitivo in velocità.
Requisiti di memoria per le diverse versioni
La memoria richiesta non dipende solo dai parametri attivi, ma dall’intero set di pesi. Ecco una tabella sintetica dei formati disponibili, del peso del file e degli ambienti consigliati:
- MLX 4 bit: 13,6 GB – Mac con chip Apple da 24 GB in su.
- GGUF Q4KM: 14,5 GB – PC e Mac con llama.cpp, LM Studio, Ollama.
- MLX 6 bit: 19,5 GB – Mac da 32 GB, compressione inferiore al 4 bit.
- MLX 8 bit / GGUF Q8_0: 25,5 GB – Mac da 48 GB e oltre; su 32 GB è al limite della GPU.
- FP8: 24,7 GB – GPU server con vLLM o SGLang.
- bf16 (originale): 48 GB – Fine‑tuning e server con abbondante memoria.
Nei test effettuati, la versione a 4 bit ha mostrato un picco di memoria di 13,6 GB con una domanda breve e di 14,5 GB con un prompt di 2 596 token, indicando che il contesto aggiunge circa 0,9 GB.
Regola pratica di riserva
È consigliabile mantenere liberi almeno 4 GB oltre al peso del file, per coprire il sistema operativo e il contesto. Su un Mac M4 con 32 GB di RAM, la soglia consigliata da MLX è di 24,96 GiB (circa 26,8 GB), pari al 78 % della memoria unificata.
Limiti della GPU integrata su Mac
La GPU del chip M4 non può utilizzare tutta la memoria unificata. Con 32 GB di RAM, il limite pratico è intorno ai 26,8 GB. La versione a 8 bit, che pesa 25,5 GB, si avvicina a questo limite lasciando poco margine per il contesto. Non sono state effettuate prove con il formato a 8 bit su questa macchina, quindi il margine residuo rimane incerto.
Un vincolo simile era presente in Gemma 4 offline nell’Antigravity SDK, che richiedeva 24 GB di memoria.
Diagramma dei pesi vs limite GPU
Le dimensioni dei file per ogni formato, prese dalle pagine ufficiali di Hugging Face, confrontate con il limite GPU di 26,8 GB su un Mac M4 da 32 GB, sono:
- MLX 4‑bit: 13,6 GB
- GGUF Q4KM: 14,5 GB
- MLX 6‑bit: 19,5 GB
- FP8: 24,7 GB
- MLX 8‑bit / Q8_0: 25,5 GB
- bf16 (originale): 48,0 GB
Perché un modello da 24 miliardi di parametri è veloce come uno da 2 miliardi
LFM2.5-24B-A2B utilizza un’architettura MoE. Ogni blocco contiene 64 piccole reti specializzate (esperti) e per ogni token il router ne attiva solo 4. Questo riduce i parametri attivi a 2,45 milliardi, da cui il suffisso A2B (“2 miliardi attivi”).
Di conseguenza, il calcolo dipende dai parametri attivi, garantendo velocità simile a un modello più piccolo, mentre la memoria dipende dal totale, perché tutti gli esperti devono restare caricati. Chi si aspetta che il modello “da 2 miliardi” occupi 2 GB sbaglia: il nome indica solo quanti parametri sono attivi per token, non la dimensione del file.
Architettura tecnica
Il modello presenta 40 strati: 30 blocchi di convoluzione breve con doppio gate e 10 di attenzione GQA. Il vocabolario contiene 128 000 token e la finestra di contesto è di 131 072 token. È un modello solo testo, ma prima di rispondere genera una catena di pensiero racchiusa nel tag <think>, i cui token vengono conteggiati come qualsiasi altro output.
Come installare e provare LFM2.5-24B-A2B su macOS con MLX
Il percorso più rapido su un Mac con chip Apple è utilizzare mlx‑lm, la libreria di Apple per eseguire modelli linguistici su MLX. I passaggi sono:
# 1. creare ambiente virtuale e installare la libreria
python3 -m venv lfm-env
source lfm-env/bin/activate
pip install mlx-lm
2. scaricare e generare
mlx_lm.generate --model LiquidAI/LFM2.5-24B-A2B-MLX-4bit \
--prompt "Spiega in cinque righe cos'è un modello a esperti misti" \
--max-tokens 1500 --temp 0.1 --top-k 50
Il download dei 13,6 GB avviene al primo avvio, per cui è consigliata una connessione veloce.
Il modello ragiona prima di rispondere e lo fa in inglese, anche se la domanda è in italiano. Nella prima prova, una parte consistente dei 500 token generati era dedicata al ragionamento (<think>), seguita dalla risposta in italiano. Per ottenere risposte complete è utile impostare un limite di token generoso.
Interfacce grafiche alternative
Chi preferisce un’interfaccia grafica può consultare la documentazione di Liquid AI per LM Studio e Ollama. Per chi parte da zero, le guide “Jan AI su Mac” e “LM Studio con Gemma 4” coprono le fasi di installazione preliminare.
Prestazioni reali: test di velocità
Due test sono stati effettuati con la versione MLX a 4 bit su un Mac M4 (32 GB di RAM) usando i parametri consigliati (temperatura 0,1, top‑k 50):
| Prompt | Generazione | Picco di memoria |
|---|---|---|
| Domanda breve in italiano (38 token) | 500 token a 49,6 token/s | 13,6 GB |
| Riassunto di un testo lungo (2 596 token letti) | 1 200 token a 47,1 token/s | 14,5 GB |
Quasi 50 token al secondo sono circa un quarto dei 184 token/s dichiarati da Liquid AI su un Mac Studio M5 Max, un chip di fascia molto più alta. Il costo nascosto è il ragionamento: nella seconda prova, 1 200 token a 47 token/s corrispondono a circa 25 secondi di sola riflessione, mentre la lettura dei 2 596 token è stata completata in 6 secondi. Per una conversazione, il tempo di attesa prima della prima parola è tanto importante quanto la velocità di generazione.
Confronto con Qwen3.6-35B-A3B
Liquid AI paragona LFM2.5-24B-A2B a Qwen3.6-35B-A3B, modello con circa il 50 % di parametri in più. I risultati dichiarati mostrano vantaggi su alcuni benchmark e svantaggi su altri. Ecco una selezione di sei metriche tra le otto dedicate a strumenti e agenti:
| Benchmark | LFM2.5-24B-A2B | Qwen3.6-35B-A3B |
|---|---|---|
| AutomationBench | 27,69 | 8,72 |
| LiveClaw | 48,09 | 38,19 |
| ToolSandbox | 80,71 | 75,02 |
| IFEval | 96,75 | 93,06 |
| GPQA Diamond | 74,42 | 83,69 |
| SWE‑Bench | — | — |
Il modello di Liquid AI supera nettamente Qwen3.6‑35B‑A3B in AutomationBench, LiveClaw, ToolSandbox e IFEval, ma è inferiore in GPQA Diamond, evidenziando un profilo di performance equilibrato.
Costi di utilizzo e accesso
I pesi del modello sono gratuiti su Hugging Face, senza necessità di account. Il Playground di Liquid AI è accessibile via browser con login. L’accesso via API ha un costo di 0,10 USD per milione di token in ingresso e 1,00 USD per milione di token in uscita.
Per chi vuole provare subito la versione MLX a 4 bit, è sufficiente scaricare il file da Hugging Face e lanciare il comando mlx_lm.generate mostrato sopra.
Conclusioni
LFM2.5-24B-A2B dimostra come l’architettura MoE possa offrire modelli di grandi dimensioni con requisiti di calcolo paragonabili a modelli molto più piccoli. Tuttavia, la memoria totale necessaria rimane elevata, soprattutto per versioni a 8 bit o bf16, e su hardware con memoria unificata limitata (come i Mac con chip M4) è fondamentale monitorare il picco di RAM e mantenere un margine di sicurezza di almeno 4 GB.
Per gli utenti che hanno a disposizione Mac con 32 GB di RAM, la versione a 4 bit è la più praticabile, garantendo una velocità di circa 50 token al secondo e un utilizzo di memoria stabile sotto i 15 GB. Chi ha più risorse può sperimentare versioni a 8 bit o fp8 per migliorare la qualità delle risposte, tenendo conto dei vincoli della GPU integrata.
In sintesi, LFM2.5-24B-A2B è una proposta interessante per chi vuole eseguire modelli di livello avanzato in locale, con un equilibrio tra prestazioni, costi e requisiti hardware che lo rende competitivo rispetto a soluzioni più pesanti come Qwen3.6‑35B‑A3B.