Diagnostica della lacuna del modello
Quando un modello fornisce una risposta errata a una task aziendale, manca di conoscenza o di comportamento. La mancanza di conoscenza si verifica quando il modello non conosce prezzi recenti, clausole contrattuali del 2025 o le procedure di troubleshooting di un prodotto lanciato il mese scorso. Questo è un problema di fatti.
La mancanza di comportamento, invece, si manifesta quando il modello conosce i fatti ma non risponde nel formato richiesto, usa un tono inappropriato, interpreta male i codici interni o non riesce a classificare ticket in 40 categorie predefinite. Questo è un problema di abilità.
Il RAG è lo strumento adatto al primo caso, mentre il fine‑tuning risolve il secondo. Confondere i due porta a sprecare mesi e budget GPU per risolvere il problema sbagliato.
Perché il fine‑tuning è inefficace per aggiungere conoscenze
Molti pensano che addestrare un modello sui propri documenti lo faccia “conoscere” il contenuto. In realtà, il modello impara soprattutto lo stile dei documenti, non i fatti. Uno studio di Microsoft ha confrontato RAG e fine‑tuning non supervisionato su domande di conoscenza e ha scoperto che:
- Il RAG ha fornito risultati migliori in tutti i casi, anche per fatti già visti durante l’addestramento.
- Il RAG ha mantenuto superiorità anche per fatti completamente nuovi.
I fatti cambiano frequentemente. Ogni volta che una politica o un catalogo si aggiorna, un modello fine‑tuned diventa obsoleto fino a nuovo addestramento. Inoltre, la tracciabilità sparisce: se il modello riporta un numero, non è possibile indicare il documento di origine, un requisito imprescindibile nei settori regolamentati come assicurazioni e sanità.
Il RAG, introdotto da Lewis et al. (2020), conserva le conoscenze esternamente al modello. Al momento della domanda, i passaggi pertinenti vengono recuperati e forniti come contesto. Aggiornare le conoscenze è semplice: basta aggiornare l’indice, senza ri‑addestrare il modello, e ogni risposta può citare la fonte.
Un esempio concreto proviene da un cliente logistico: i clienti chiedevano aggiornamenti in tempo reale su spedizioni e documenti mancanti, informazioni che cambiano ogni minuto. Un modello addestrato non avrebbe potuto mantenere tale freschezza; l’assistente RAG risponde direttamente ai dati di tracciamento in tempo reale e alle informazioni IoT, dimostrando che il recupero era l’unica architettura fattibile.
Quando il fine‑tuning è la scelta giusta
Il fine‑tuning non è scomparso, ma il suo ambito è più limitato di quanto molti credano. Lo utilizziamo in tre scenari principali:
Formati di output rigorosi e ripetitivi
Se un modello deve produrre migliaia di volte al giorno lo stesso risultato strutturato (es. estrarre campi da fatture in un JSON fisso), un piccolo modello fine‑tuned è più affidabile e meno costoso di un grande modello con istruzioni.
Vocabolario di dominio specifico
In settori con abbreviazioni o codici propri (es. codici di stato logistico, abbreviazioni cliniche, SKU interni), il modello di base può fraintendere. Un fine‑tuning limitato può risolvere queste ambiguità.
Costi e latenza su larga scala
Per una task ben definita, un piccolo modello fine‑tuned può sostituire un grande modello generale. Tecniche come LoRA rendono l’approccio economico, poiché si addestrano solo pochi pesi aggiuntivi anziché l’intero modello.
Nota: nessuno di questi casi riguarda fatti, ma l’apprendimento di un comportamento per una task già ben compresa.
Gli errori più comuni del RAG: problemi di recupero
Quando le aziende affermano “abbiamo provato il RAG, ma non funziona”, il problema raramente è il modello, ma il livello di recupero. La qualità del modello non può superare quella dei passaggi forniti.
Le soluzioni, sebbene poco spettacolari, sono estremamente efficaci:
Segmentazione semantica
Dividere i documenti per senso, non per numero di caratteri. Tagliare un contratto ogni 500 caratteri spezza le clausole. Segmentare per sezione e titolo preserva il contesto.
Aggiunta di contesto a ogni segmento
Un segmento che dice “il limite è di 30 giorni” è inutile senza sapere a quale politica si riferisce. Anthropic ha dimostrato che inserire un breve contesto documentario a ogni segmento prima dell’indicizzazione, pratica definita contextual retrieval, riduce gli errori di recupero del 49 % e del 67 % se combinata con re‑ranking.
Ricerca ibrida
Combinare ricerca per parole‑chiave e ricerca vettoriale. La ricerca vettoriale cattura il significato, ma può fallire con termini esatti come numeri di parte. L’ibrido copre entrambe le esigenze.
Validazione della fase di recupero
Costruire un set di domande reali con i passaggi sorgente corretti noti. Misurare se il passaggio corretto appare tra i primi risultati prima di valutare le risposte finali.
Quando combinare RAG e fine‑tuning
In produzione, le soluzioni più performanti spesso uniscono i due approcci. Il RAG fornisce i fatti, mentre un modello leggermente affinato gestisce formato, tono e linguaggio di dominio. L’approccio RAFT dell’UC Berkeley affina un modello per sfruttare meglio i documenti recuperati e ignorare quelli non pertinenti.
L’ordine è fondamentale: generalmente si implementa prima il RAG, si misurano le sue lacune e solo dopo si valuta se il fine‑tuning è necessario. Iniziare con il fine‑tuning equivale a pagare per l’addestramento prima di conoscere la reale lacuna.
Checklist rapida per la decisione
- La task si basa su fatti che cambiano più di una volta al trimestre? Usa il RAG.
- Gli utenti o gli auditor devono poter tracciare la fonte di ogni risposta? RAG è obbligatorio.
- Hai bisogno di formati di output strutturati e altamente ripetitivi? Considera il fine‑tuning.
- Il dominio contiene vocaboli o codici specifici che il modello di base fraintende? Fine‑tuning mirato.
- Il costo e la latenza sono critici a grande scala? Un piccolo modello fine‑tuned con LoRA.
Seguendo questa guida, le aziende possono evitare sprechi di risorse e scegliere l’approccio più adatto per integrare i grandi modelli di linguaggio nei propri flussi di lavoro.
