Introduzione al nuovo supporto FFT di SageMaker
Ad agosto 2026 AWS ha annunciato che SageMaker AI Serverless Model Customization ora supporta il Full‑Finetuning (FFT) per oltre 25 modelli di codice aperto. L’annuncio, pubblicato il 18 novembre, è accompagnato da una dettagliata nota tecnica che confronta FFT e LoRA su diversi benchmark, senza indicare un chiaro vincitore universale.
Il servizio serverless di SageMaker gestisce automaticamente risorse di calcolo, checkpoint e storage, lasciando all’utente solo la scelta del modello di base, del dataset e degli iperparametri. Questo approccio riduce la complessità operativa, ma la decisione su quale metodo di fine‑tuning utilizzare resta fondamentale per ottenere i migliori risultati.
FFT versus LoRA: differenze strutturali
La distinzione principale tra i due metodi risiede nei pesi aggiornati durante l’addestramento:
- FFT: tutti i parametri del modello vengono modificati; l’intera architettura è soggetta a ottimizzazione.
- LoRA: i pesi pre‑addestrati rimangono congelati, mentre vengono apprese sole matrici di adattamento a bassa dimensione.
Questa differenza influisce direttamente su costi computazionali, durata dell’addestramento e dimensione del modello finale. FFT richiede più potenza di calcolo e genera artefatti più grandi, ma elimina la necessità di gestire adattatori durante l’inferenza. LoRA, al contrario, è più leggero e veloce, ma può limitare la capacità di apprendimento in compiti molto specifici.
Implicazioni pratiche
La documentazione AWS sottolinea che la scelta tra FFT e LoRA dovrebbe basarsi sulla natura del compito e sulla metrica di valutazione preferita. Una performance elevata in un test non garantisce lo stesso risultato in un contesto diverso.
Esperimenti di programmazione con Qwen‑3‑4B
AWS ha condotto una serie di esperimenti supervisionati su Qwen‑3‑4B, utilizzando lo stesso set di prompt, risposte target e codice di valutazione. Il dataset Magicoder‑Evol‑Instruct‑110K è stato suddiviso in 99 000 record di training, 5 500 di validazione e 5 500 di test.
Nel confronto più rilevante, FFT ha raggiunto il 90,0 % di correzione semantica dopo tre epoche, mentre nella valutazione “LLM‑as‑Judge” LoRA ha ottenuto 81,5 % contro 79,5 % per FFT. Si tratta di metriche diverse: la prima misura la correttezza logica del codice, la seconda la qualità percepita da un modello giudice.
Metriche aggiuntive
- Amazon Nova Pro è stato impiegato come giudice delle risposte.
- PRIMECODE ha valutato la somiglianza del codice tramite BLEU, ROUGE e F1.
- MMLU ha testato la conoscenza in 57 materie accademiche.
In tutti questi test, sia FFT che LoRA sono risultati inferiori al modello di partenza nelle domande di matematica (MATH), evidenziando una perdita di precisione quando si tenta di specializzare il modello su compiti di programmazione.
Impatto delle iper‑parametri: tassi di apprendimento e batch size
Le prove hanno mostrato che i tassi di apprendimento influenzano drasticamente le performance. Con tassi ≥ 5 × 10⁻⁵, FFT ha registrato solo il 2‑3 % di miglioramento in MATH e 3,6 % in MMLU. Al contrario, una configurazione più conservativa (learning rate = 2 × 10⁻⁵, batch size globale = 8, warm‑up = 5 %) ha preservato meglio le conoscenze generali, ottenendo risultati più stabili su MMLU.
Questi risultati suggeriscono che la scelta del learning rate è cruciale per evitare l’effetto di “catastrophic forgetting” nei modelli di grandi dimensioni.
Considerazioni finali e prospettive future
Il supporto FFT in SageMaker serverless amplia le possibilità di personalizzazione, ma porta con sé un trade‑off significativo in termini di costi e complessità. LoRA rimane una valida alternativa per progetti con budget limitati o per casi d’uso dove la latenza di inferenza è critica.
Per gli sviluppatori, la raccomandazione è chiara: definire prima la metrica di successo (ad es. correttezza semantica, punteggio MMLU o velocità di inferenza) e poi selezionare il metodo di fine‑tuning più adatto. Ulteriori test su altri modelli e set di dati saranno necessari per delineare linee guida più precise.
