Un modello linguistico non legge parole ma token, frammenti di testo che possono essere una parola intera, mezza parola o un singolo carattere. La frase “The context window” vale 3 token per il tokenizer di OpenAI, la sua traduzione “La finestra di contesto” ne vale 6. Su un testo lungo lo scarto si assesta tra il 15 % e il 23 % in più per l'italiano e lo si paga due volte, in euro e in spazio occupato nella finestra di contesto.

Che cosa è una context window

Un LLM (Large Language Model, il tipo di modello che sta dietro ChatGPT, Claude, Gemini e ai modelli aperti come Llama o Qwen) è una rete neurale addestrata a prevedere il token successivo di una sequenza. Tutto ciò che fa, dalla risposta in chat al riassunto di un PDF, passa da lì: il testo viene spezzato in token, ogni token diventa un numero, il modello calcola quale numero viene dopo e il risultato viene ritrasformato in testo.

La context window (finestra di contesto) è il numero massimo di token che il modello riesce a considerare in una sola chiamata, sommando le istruzioni, la conversazione, i documenti allegati e la risposta che sta scrivendo.

Le due grandezze decidono buona parte di ciò che conta nell'uso quotidiano: quanto costa una richiesta alle API, quanto materiale si può incollare in una chat prima che il modello cominci a perdere pezzi, perché un abbonamento si esaurisce prima del previsto. Le misure di questa guida sono state fatte con i tokenizer ufficiali di OpenAI e con quelli pubblicati su Hugging Face dai produttori dei modelli aperti; prezzi e finestre vengono dalle pagine dei produttori, consultate il 29 ottobre 2026.

Strumenti per provare i tokenizer

    • Il Tokenizer di OpenAI è gratuito, funziona dal browser e non chiede un account: incollate una frase e vedete i token colorati uno per uno.
    • Google AI Studio mostra invece il conteggio dei token di Gemini mentre scrivete il prompt, con un account Google.

TL;DR per chi ha cinque minuti

Scrivere in italiano costa di più. Sullo stesso testo servono il 15 % di token in più con il tokenizer di OpenAI e il 22‑23 % con Llama 3 e Qwen 3, quindi la stessa richiesta pesa di più in bolletta e nella finestra di contesto.

La finestra da un milione di token è diventata lo standard. Claude 5.5, GPT‑6 e Gemini 4 Argon la offrono tutti, ma oltre una certa soglia OpenAI e xAI raddoppiano il prezzo dell’input.

L’output è la voce più cara. Sui modelli di punta un token generato costa cinque volte un token letto, per cui chiedere risposte brevi è il risparmio più immediato.

La cache abbatte il costo dei documenti ripetuti. Con Claude Sonnet 5.5 rileggere un testo già in cache costa il 5 % del prezzo pieno: dieci domande sullo stesso PDF passano da 2,20 $ a circa 0,54 $.

Una finestra grande non garantisce che il modello usi tutto. Le informazioni a metà di un contesto lungo vengono recuperate peggio di quelle all’inizio e alla fine, quindi ciò che conta va messo in testa o in coda.

Cos’è un token in un LLM?

Un token è l’unità minima di testo che un LLM legge e scrive: una sequenza di caratteri a cui il tokenizer assegna un numero intero, preso da un vocabolario fisso che oggi conta tra 100 000 e 200 000 voci. Le parole comuni inglesi sono spesso un token solo, quelle rare o straniere si spezzano in due, tre o più pezzi.

Qualche esempio misurato con o200k_base, il tokenizer che OpenAI usa dalla famiglia GPT‑4o in poi, rende l’idea meglio di qualsiasi definizione:

    • “tokenization” diventa token + ization
    • “tokenizzazione” si cava allo stesso modo con token + izzazione
    • “precipitevolissimevolmente” (la parola più lunga dei vocabolari italiani) finisce in 7 pezzi: prec, ip, ite, vol, issime, vol, mente
    • Un cognome poco diffuso, come quello di chi firma questo blog, costa 3 token da solo
    • Una emoji ne vale uno
    • L’anno “2026” ne vale due (202 e 6) perché i numeri vengono tagliati a gruppi di tre cifre

Contano anche dettagli che a occhio sembrano irrilevanti. Lo spazio prima di una parola fa parte del token (“ context” con lo spazio è un token diverso da “context” senza) e maiuscole e minuscole producono sequenze diverse: “ciao”, “Ciao” e “CIAO” sono tre coppie di token distinte. Per il modello le lettere, di fatto, non esistono; esistono solo questi numeri.

La regola pratica che Google riporta nella documentazione di Gemini sui token è che un token vale circa 4 caratteri e che 100 token corrispondono a 60‑80 parole inglesi. Le misure fatte per questa guida tornano: con o200k_base il testo inglese viaggia a 1,48 token per parola, quello italiano a 1,66. In italiano il rapporto peggiora e la sezione più sotto mostra di quanto.

Come funziona la tokenizzazione BPE

Quasi tutti i tokenizer moderni derivano dal Byte Pair Encoding (BPE), un algoritmo di compressione descritto da Philip Gage nel 1994 e adattato al linguaggio da Rico Sennrich e colleghi nel paper del 2016 sulla traduzione automatica delle parole rare. L’idea si racconta in poche righe: si parte da un vocabolario minimo (i 256 byte possibili), si conta quale coppia di simboli adiacenti compare più spesso nel testo di addestramento e la si fonde in un simbolo nuovo; poi si ricomincia, migliaia di volte, finché il vocabolario raggiunge la dimensione decisa a tavolino.

Il risultato dipende interamente dal testo su cui il tokenizer è stato addestrato. Se il corpus è in gran parte inglese, le fusioni premiano le sequenze inglesi: “ the”, “ context”, “ window” diventano presto un pezzo unico, mentre “ finestra” non ci arriva mai e resta spezzata in “ fines” + “tra”. Lo stesso principio vale per il prontuario di sigle di un reparto ospedaliero, che conterrà “ECG” e “PA” ma non “IVA”: il vocabolario rispecchia chi l’ha compilato e su quali testi.

Dimensioni dei vocabolari

    • cl100k_base (GPT‑4 e GPT‑3.5) conta 100 277 voci
    • o200k_base ne ha 200 019
    • Llama 3 di Meta ne usa 128 256
    • Qwen 3 di Alibaba 151 669
    • DeepSeek‑V3 128 815
    • Mistral Nemo 131 072

Un vocabolario più grande lascia spazio a più parole non inglesi intere e a più pezzi di alfabeti diversi dal latino, quindi a parità di testo servono meno token. Il prezzo lo paga il modello, che deve gestire una tabella di embedding (la matrice che trasforma ogni numero di token in un vettore di valori) più grossa.

Prima della fusione c’è un passaggio che pochi conoscono, la pre‑tokenizzazione. Un’espressione regolare taglia il testo in parole, numeri, spazi e punteggiatura e il BPE lavora solo dentro questi blocchi; per questo un token non scavalca quasi mai il confine tra due parole e i numeri finiscono a gruppi di tre cifre. I tokenizer “byte‑level”, come quelli di OpenAI e di Llama, lavorano poi sui byte UTF‑8 invece che sui caratteri, così qualunque testo, in qualunque alfabeto, si può sempre codificare, al peggio un byte alla volta.

Perché l’italiano costa più token dell’inglese

L’italiano costa più token dell’inglese perché i tokenizer sono addestrati su corpora a prevalenza inglese, quindi molte parole italiane non hanno un token proprio e si spezzano in due o tre frammenti. Sullo stesso testo l’italiano richiede il 15 % di token in più con o200k_base di OpenAI e il 22‑23 % in più con Llama 3 e Qwen 3.

Il dato viene da una misura fatta per questa guida. Abbiamo preso la nostra guida alla quantizzazione e alla memoria e abbiamo confrontato i conteggi su lunghi estratti in italiano e in inglese, usando i tokenizer ufficiali di tutti i modelli citati. I risultati confermano il divario: più token = più costi di input e più pressione sulla finestra di contesto.

Strategie di ottimizzazione

    • Preferire frasi brevi e concisi, evitando spazi inutili e punteggiatura superflua.
    • Usare la cache quando possibile: inviare lo stesso documento una sola volta e poi riferirsi a esso con prompt brevi.
    • Mettere le informazioni chiave all’inizio o alla fine del prompt, dove la probabilità di recupero è più alta.
    • Scegliere modelli con vocabolari più ampi per lingue non inglesi se il costo è un fattore critico.

In conclusione, comprendere come funzionano token e context window permette di gestire in modo più efficiente i costi, le prestazioni e la qualità delle risposte dei LLM, soprattutto quando si lavora in lingue diverse dall’inglese.