Supervised fine‑tuning: come funziona e perché è cruciale per il marketing

Che cos’è il supervised fine‑tuning (SFT)

Il supervised fine‑tuning (SFT) è la fase in cui un modello di linguaggio pre‑addestrato viene addestrato ulteriormente su un insieme di esempi di prompt accoppiati con le risposte che dovrebbe fornire. Il modello legge ogni prompt, vede la risposta target e ne aggiusta i pesi interni in modo che quella risposta diventi più probabile la prossima volta.

Il SFT nasce perché il pre‑addestramento su testi web produce un modello che continua i documenti, non un modello che risponde a domande. In genere, poche migliaia di dimostrazioni curate sono sufficienti a trasformare il modello in un assistente capace di rispondere in modo coerente.

È “supervisionato” nel senso classico del machine learning: ogni esempio porta con sé una risposta corretta, non un punteggio o una preferenza. Questo lo distingue dalle fasi di reinforcement learning (RL) che solitamente lo seguono, e dal prompting, che non modifica nulla all’interno del modello.

Come funziona una sessione di fine‑tuning

Il materiale grezzo è un dataset di dimostrazioni. Ogni record contiene un input e l’output desiderato, tipicamente formattati come una conversazione con turni di system, user e assistant. La documentazione API di OpenAI specifica il formato JSON Lines (JSONL), con un oggetto chat per riga, un array messages e, facoltativamente, definizioni tools per insegnare al modello quando e come chiamare una funzione.

Le linee guida suggeriscono un minimo di 10 esempi, ma raccomandano di partire con circa 50 esempi ben curati; i miglioramenti sono tipicamente visibili tra 50 e 100 esempi. Gli assistenti generali vengono addestrati su decine di migliaia fino a milioni di coppie, scritte da collaboratori o generate da altri modelli.

Durante il training il modello continua a prevedere il prossimo token e viene penalizzato da una cross‑entropy loss quando sbaglia. Nel SFT, però, la perdita viene calcolata solo sui token della risposta: il prompt è visibile al modello ma non viene valutato per la sua riproduzione.

I controlli pratici includono:

• Numero di epoch (passaggi completi sul dataset, tipicamente da uno a quattro)
• Learning rate, impostato molto più basso rispetto al pre‑addestramento per evitare di cancellare le conoscenze già acquisite
• Batch size

Un set di validazione tenuto da parte rileva l’overfitting, ovvero quando il modello memorizza gli esempi invece di apprendere il pattern.

Due modalità di aggiornamento dei pesi

Full fine‑tuning regola ogni parametro, richiedendo hardware della stessa classe usata per il pre‑addestramento, soprattutto per modelli con decine di miliardi di parametri.

Parameter‑efficient fine‑tuning (PEFT) congela i pesi originali e addestra un piccolo aggiunta. Il metodo dominante è LoRA (low‑rank adaptation), pubblicato da Edward Hu e colleghi di Microsoft nel giugno 2021. LoRA inserisce coppie di piccole matrici accanto ai layer esistenti e ne addestra solo quelle.

Su GPT‑3 175B, LoRA ha ridotto i parametri addestrabili di 10.000 volte e i requisiti di memoria GPU di tre volte rispetto al full fine‑tuning. L’adapter occupa megabyte anziché gigabyte, permettendo a un unico modello base di servire molti clienti, ciascuno con il proprio adapter.

Nel maggio 2023, Tim Dettmers e colleghi dell’University of Washington hanno pubblicato QLoRA, che combina LoRA con la compressione a 4 bit del modello congelato, rendendo possibile il fine‑tuning di un modello da 65 miliardi di parametri su una singola GPU da 48 GB.

Dove si colloca il SFT nella pipeline di addestramento

Un moderno large language model è costruito in più fasi:

• Pre‑training: consuma trilioni di token di testo e produce un modello base.
• Post‑training: modella il comportamento; il SFT è quasi sempre il primo step di questa fase.
• Fasi di preferenza o ricompensa: reinforcement learning from human feedback (RLHF), Direct Preference Optimization (DPO) o RL contro ricompense verificabili per matematica e codice.

L’ordine è fondamentale. Il team di moderazione dei contenuti di Meta, a dicembre 2025, ha segnalato che applicare RL direttamente ai modelli base, senza SFT preliminare, portava a una grave degradazione dell’aderenza alle istruzioni. Partire dal SFT stabilizza l’addestramento, sebbene l’approccio a due fasi abbia introdotto più “hallucination” fattuali. Quando OpenAI ha rilasciato GPT‑5 nell’agosto 2025, ha descritto un post‑training che includeva fasi di supervised fine‑tuning e reinforcement learning ad alta potenza computazionale.

Origini ed evoluzione

Il fine‑tuning di una rete pre‑addestrata è una pratica consolidata nella computer vision. Per il linguaggio, l’anno decisivo è stato il 2018. Il paper ULMFiT di Jeremy Howard e Sebastian Ruder (gennaio 2018) dimostrò che un modello di linguaggio pre‑addestrato su testo generico poteva essere fine‑tuned per classificazione con pochi dati etichettati.

Il primo paper di OpenAI su GPT (giugno 2018) accoppiò il “generative pre‑training” con il supervised fine‑tuning su ogni task target. BERT di Google (ottobre 2018) seguì lo stesso approccio, rendendo il fine‑tuning la norma: un modello per ogni compito.

L’instruction tuning cambiò il target da un singolo compito a “seguire istruzioni” in generale. Il paper FLAN di Google (3 settembre 2021) fine‑tuned un modello da 137 miliardi di parametri su più di 60 task formulati come istruzioni, superando GPT‑3 175B in 20 su 25 task valutati.

Il pipeline attuale è stato formalizzato nel paper InstructGPT di OpenAI (4 marzo 2022) di Long Ouyang e colleghi. I labeler scrissero dimostrazioni di risposte desiderate, usate per il SFT; poi classificarono le uscite dei modelli per addestrare un reward model, contro il quale il modello SFT venne ottimizzato con RL. L’InstructGPT da 1,3 miliardi di parametri fu preferito a GPT‑3 da 175 miliardi, “nonostante avesse 100 x meno parametri”, secondo l’abstract. ChatGPT (30 novembre 2022) applicò lo stesso ricetta.

L’ondata open‑source del 2023 spinse verso meno dati. Il paper LIMA di Meta (18 maggio 2023) fine‑tuned un modello LLaMA da 65 miliardi di parametri con la perdita supervisionata standard su sole 1 000 prompt curati e risposte. Le sue risposte furono giudicate equivalenti o preferite a quelle di GPT‑4 nel 43 % dei casi.

Perché il SFT è importante per i marketer

Per inserzionisti e agenzie, il SFT è il meccanismo dietro la affermazione che un sistema AI “conosce” un brand. Fine‑tuning su copie approvate, trascrizioni di assistenza clienti o etichette di classificazione incorpora il pattern nei pesi, così non è più necessario ripetere le istruzioni in ogni prompt. Questo riduce i token per richiesta e permette a un modello più piccolo di svolgere un compito ristretto.

Nel 2025, ricercatori NVIDIA hanno sostenuto che piccoli modelli fine‑tuned possono sostituire grandi modelli per molti compiti di agente, grazie a costi computazionali inferiori e latenza ridotta.

Le piattaforme pubblicitarie usano la tecnica internamente. Il lavoro AdLlama di Meta (luglio 2025) confrontò un modello generativo di testo pubblicitario addestrato con RL sui dati di performance degli annunci contro “un modello di imitazione supervisionato addestrato su annunci curati”. In un test di 10 settimane su quasi 35 000 inserzionisti e 640 000 varianti di annunci, il modello RL aumentò il click‑through rate del 6,7 %, mentre il modello SFT servì da baseline, non da vincitore.

Limiti, controversie e dibattiti

Il SFT insegna al modello a imitare, e l’imitazione ha dei limiti. Uno studio di gennaio 2025, condotto da Sergey Levine, Quoc Le e altri, intitolato “SFT Memorizes, RL Generalizes”, dimostrò che il supervised fine‑tuning “tende a memorizzare i dati di training e fatica a generalizzare” a casi fuori distribuzione, mentre il reinforcement learning generalizza meglio.

Il team di moderazione di Meta riportò un’efficienza dei dati da 10 a 100 volte migliore con il reinforcement learning rispetto al SFT sui compiti di classificazione.

L’argomento della “superficial alignment” avanzato dagli autori di LIMA suggerisce che, se 1 000 esempi bastano, il SFT insegna principalmente formato e stile, non conoscenza. Questo comporta un rischio pratico: fine‑tuning su fatti che il modello non ha mai visto può portare a “hallucination” di informazioni errate, soprattutto quando il modello è richiesto a rispondere a domande fuori dal dominio dei dati di addestramento.

Un altro punto di dibattito riguarda la sicurezza. I servizi ospitati (come quello di OpenAI) valutano ogni modello completato su 13 categorie di sicurezza e possono bloccare il deployment se troppi output falliscono in una categoria. Questo aggiunge un livello di controllo, ma può anche limitare la rapidità con cui le aziende possono distribuire versioni personalizzate dei loro assistenti.

Prospettive future

Il futuro del SFT sembra intrecciato con l’evoluzione di PEFT e con l’integrazione più stretta tra SFT e RL. Tecniche come LoRA, QLoRA e le varianti a 8‑bit promettono di ridurre ulteriormente le risorse necessarie, rendendo il fine‑tuning accessibile a un numero sempre più ampio di aziende.

Allo stesso tempo, la ricerca sta esplorando approcci ibridi che combinano la rapidità del SFT con la capacità di generalizzazione del RL, cercando di mitigare le “hallucination” senza sacrificare l’efficienza dei token.

Per i marketer, la chiave sarà bilanciare la personalizzazione tramite SFT con meccanismi di verifica e monitoraggio dei contenuti, garantendo che i modelli rimangano allineati ai valori del brand e alle normative di sicurezza, senza perdere la capacità di rispondere in modo creativo e pertinente a richieste nuove.