OVHcloud ha lanciato Olala mini, il primo modello di linguaggio (LLM) francese progettato per funzionare su un PC senza scheda grafica dedicata. Il modello, open source, è stato addestrato su tre supercalcolatori pubblici europei – Jupiter, MeluXina e Jean Zay – per un investimento equivalente a 7 milioni di euro in ore di calcolo.
Caratteristiche tecniche di Olala mini
Olala mini 7A1B è un LLM compatto che conta 7 miliardi di parametri totali, ma ne attiva soltanto un miliardo per ogni richiesta. Questi parametri attivi sono distribuiti su 256 “esperti” per ciascuna delle sue 7 layer, grazie a un’architettura di tipo Mixture of Experts (MoE). Questa struttura permette di ottenere una velocità di 160 token al secondo su una GPU Nvidia RTX A4500 e 50 token al secondo su un processore senza GPU.
Un token corrisponde a circa tre quarti di parola, quindi Olala mini può generare più di 100 parole al secondo con una GPU di medio livello e circa 30 parole al secondo su un semplice processore.
Architettura di attenzione ibrida
La vera novità di Olala mini risiede nell’attenzione ibrida, una combinazione di due recenti metodologie:
- Differential‑TPA: comprime e filtra l’attenzione tradizionale, riducendo il consumo di memoria.
- Mamba‑3: legge il testo in streaming mantenendo un riepilogo di dimensione fissa, consentendo di gestire sequenze più lunghe senza saturare la memoria.
Questa doppia soluzione migliora l’efficienza rispetto a modelli più tradizionali, ma resta ancora dietro a soluzioni come ERNIE 5.5 Flash di Baidu, che utilizza 280 miliardi di parametri e una forma simile di attenzione ibrida.
Confronti con i concorrenti europei
Nel panorama europeo, Mistral è il riferimento più diretto. Le versioni Ministral 3 (3, 8 e 14 miliardi di parametri) offrono capacità multimodali (testo + immagini) e una finestra di contesto di 256 000 token, otto volte superiore a quella di Olala mini (32 000 token, corrispondenti a circa 50 pagine). Tuttavia, Mistral è distribuito con licenza Apache 2.0, come Olala mini, garantendo trasparenza e libertà di utilizzo.
Il comunicato di OVHcloud non fornisce benchmark comparativi, ma segnala che Qwant, primo cliente, ha registrato risposte 20 % più rapide e costi ridotti di un terzo rispetto a un modello interno precedente non specificato.
Limiti operativi
Con un miliardo di parametri attivi, Olala mini è adatto a compiti di sintesi, classificazione e risposte a domande semplici. Non è pensato per sostituire assistenti generali in attività complesse di programmazione o ragionamento avanzato. Inoltre, la finestra di contesto di 32 000 token limita l’analisi di documenti molto lunghi.
Roadmap e prospettive future
Una versione 1.1, prevista entro fine dicembre, dovrebbe estendere la finestra di contesto a 128 000 token e migliorare le capacità di ragionamento matematico. I pesi del modello saranno pubblicati su Hugging Face, accompagnati da una documentazione di conformità all’AI Act, il regolamento europeo sull’intelligenza artificiale.
OVHcloud ha già annunciato piani per una versione 2.0 con oltre 100 milliardi di parametri, destinata a scenari aziendali specifici:
- Agentica per imprese, con IA in grado di concatenare più compiti autonomamente.
- Soluzioni DevOps per ottimizzare i processi di sviluppo.
- Cyber‑security, inclusa la difesa offensiva.
Olala mini sarà inoltre integrato in OVHai Workspace, una piattaforma di lavoro che offrirà versioni cifrate dei modelli, eseguibili direttamente sul dispositivo dell’utente, garantendo privacy e sicurezza dei dati.
Strategia di costo e sostenibilità
Octave Klaba, CEO di OVHcloud, ha dichiarato che il costo di addestramento di Olala mini è stato ridotto di un fattore 20 rispetto a tre anni fa, grazie a ottimizzazioni hardware e all’uso di supercomputer pubblici europei. Tuttavia, ha sottolineato che non è possibile contare indefinitamente sulla “generosità di alcuni lab”, indicando la necessità di investimenti continui per mantenere la competitività.
In sintesi, Olala mini si presenta più come una prova di concetto che come un prodotto pronto per la produzione di massa, ma rappresenta un passo importante per l’indipendenza tecnologica europea nel campo dell’intelligenza artificiale.
