Introduzione al workshop
Nel contesto di un evento pratico, Angelos Perivolaropoulos, responsabile del team speech‑to‑text di ElevenLabs e architetto del modello di trascrizione Scribe v2, ha guidato gli ingegneri nella costruzione di un Large Language Model (LLM) “da zero”. Non sono stati usati pesi pre‑addestrati, né librerie “shortcut” di Hugging Face: solo PyTorch, dati grezzi e un tokenizer a livello di carattere.
Il claim centrale è che i blocchi fondamentali di un Transformer – tokenizer, architettura, ciclo di training – sono molto più semplici di quanto suggeriscano le campagne di marketing dei modelli di frontiera: circa 100 righe di PyTorch definiscono una classe GPT‑2 addestrabile, e lo stesso modello mentale può essere scalato fino a Gemini o GPT‑5.
Scelta del tokenizer e del dataset
Il primo passo è la tokenizzazione. Per il workshop è stato adottato un tokenizer a livello di carattere sul corpus di Shakespeare, perché il numero di token distinti è limitato a 65 (tutti i caratteri presenti). La tabella di embedding risultante contiene 65 × 384 ≈ 25 000 parametri, trascurabili rispetto ai 10 milioni di parametri complessivi del modello.
Questo approccio contrasta con il vocabolo BPE di GPT‑2, che conta 50 257 token e richiederebbe una tabella di embedding di circa 19 milioni di parametri, più di tre volte la dimensione totale del modello sperimentale.
Il trade‑off è evidente: i tokenizer a livello di carattere costringono il modello a scoprire da sé i confini delle parole e la morfologia, richiedendo più strati di attenzione per correlare sequenze come “S‑K‑Y” o “B‑L‑U‑E”. I tokenizer BPE, invece, catturano sub‑parole comuni (“the”, “ing”, “ion”) facilitando l’apprendimento ma necessitando enormi quantità di dati per riempire il vocabolario.
Implicazioni pratiche
- Per il nostro esempio, il tokenizer a livello di carattere funziona bene.
- Per modelli di qualità elevata, l’uso di un tokenizer piccolo è costoso: il modello fatica a convergere su compiti complessi.
Architettura del modello
Perivolaropoulos ha ricostruito l’architettura di GPT‑2 in PyTorch, dimostrando che la definizione completa del modello (esclusi caricamento dati e ciclo di training) è inferiore a 100 righe di codice. I quattro componenti chiave di ogni blocco Transformer sono:
- LayerNorm
- Attention
- Residual
- MLP
Il modello sperimentale impila sei di questi blocchi, formando un decoder‑only di sei strati con circa 10 M di parametri. La configurazione è una versione ridotta del più piccolo GPT‑2 “124M”, con block_size (lunghezza del contesto) impostato a 256 token, sufficiente a coprire circa 10 frasi.
Aumentare la lunghezza del contesto a 2 000 o 16 000 token richiederebbe tecniche avanzate (flash attention, kernel sparsi) per rimanere nei limiti di memoria GPU, una delle sfide su cui competono i laboratori di frontiera.
Ciclo di training
Il ciclo di addestramento è stato ridotto a circa 20 righe di Python e costituisce, secondo Perivolaropoulos, la parte più cruciale di qualsiasi progetto LLM. Il training avviene per 5 000 step, con checkpoint ogni 1 000 step e una generazione di testo di verifica per osservare i progressi.
Il valore di perdita iniziale, dato che i pesi sono random, è ln(65) ≈ 4,17, cioè il logaritmo naturale della dimensione del vocabolario. La perdita di validazione, calcolata su un 10 % del corpus trattenuto, funge da guardrail contro l’over‑fitting: un divario crescente tra loss di training e loss di validazione indica memorizzazione anziché generalizzazione.
Perivolaropoulos ha evidenziato che miglioramenti significativi, come il salto di Gemini da 3 a 3.1 (doppia performance su certi benchmark), derivano da procedure di training più raffinate, non da cambiamenti architetturali.
Risultati e dimostrazione
Dopo circa 2 minuti di calcolo su un laptop da 16 GB o su una GPU gratuita di Google Colab, il modello genera testo riconoscibilmente shakespeareano. Questo risultato dimostra che la “essenza” di un LLM – previsione del token successivo tramite un Transformer – è accessibile intellettualmente e computazionalmente in un pomeriggio.
Il divario tra questo generatore da 10 M di parametri e modelli come GPT‑4 non è di natura concettuale, ma di scala ingegneristica: dati di addestramento (trilioni vs. milioni di token), lunghezza del contesto (256 vs. milioni), numero di parametri (10 M vs. trilioni) e, soprattutto, pipeline post‑training (RLHF, DPO, instruction tuning).
Lezioni chiave per la ricerca LLM
Perivolaropoulos sostiene che l’innovazione architetturale si è stabilizzata: “La maggior parte dei modelli utilizza un decoder‑only causal decoder con auto‑attenzione causale e MLP simili; il pre‑training è molto simile. È il fine‑tuning e il post‑training a fare la differenza.”
Il tokenizer, unico elemento “non intero” nel pipeline, ha un peso sproporzionato: un mismatch tra tokenizer e dominio di destinazione (ad esempio un tokenizer BPE addestrato su testi web applicato a cartelle cliniche) impone un tetto permanente alle prestazioni, indipendentemente dalla dimensione del modello.
Nel lavoro di ElevenLabs su speech‑to‑text, Perivolaropoulos dedica mesi alla progettazione del tokenizer prima di ottimizzare architettura o iper‑parametri, confermando l’importanza di questa fase.
Barriere d’ingresso e prospettive future
Il workshop dimostra che la barriera all’ingresso nella ricerca LLM non è tanto il talento quanto l’accesso a infrastrutture di valutazione. Un ingegnere capace di costruire un GPT di base in poche ore può sperimentare concetti avanzati come RoPE, flash attention o mixture‑of‑experts, testandoli contro il proprio baseline.
In conclusione, la costruzione di un piccolo LLM da zero offre una prospettiva pratica su come le metodologie di addestramento e le scelte di tokenizzazione influenzino le prestazioni più di qualsiasi novità architetturale. Questo approccio “hands‑on” è il modo più efficace per comprendere le dinamiche dei grandi modelli di linguaggio moderni.
