L’efficacia sorprendente della rimozione di …

Introduzione al Deletion Tuning

Tradizionalmente, l’adattamento di un modello di linguaggio a un nuovo compito comporta la modifica di numerosi parametri o l’aggiunta di nuove matrici di peso. Sebbene queste tecniche – fine‑tuning completo, LoRA o metodi di pruning – migliorino le prestazioni sul nuovo task, spesso degradano le capacità già acquisite dal modello.

Il Deletion Tuning propone l’opposto: mantenere invariati i pesi pre‑addestrati e decidere, per ciascuna connessione, se lasciarli intatti o azzerarli. La domanda centrale è se rimuovere solo una piccola frazione di pesi possa introdurre nuove abilità senza sacrificare quelle esistenti.

Principio di funzionamento

Il metodo si concentra sui blocchi transformer, in particolare sul MLP interno che utilizza la variante SwiGLU. In questa architettura, la “gate projection” controlla quali canali intermedi passano attraverso la proiezione verso il basso. Il Deletion Tuning agisce selezionando i pesi di questa gate: o rimangono con il valore pre‑addestrato, o vengono impostati a zero, modificando così il flusso di informazione senza alterare i valori conservati.

Procedura di apprendimento della maschera

Per ogni peso selezionato il metodo introduce un logit addestrabile. Un sigmoide converte il logit in una maschera morbida (soft mask) che moltiplica il peso congelato. Durante la fase di training i gradienti fluiscono attraverso la maschera, aggiornando i logit finché la sigmoide non diventa più ripida. Al termine, il segno del logit determina la maschera definitiva (hard mask): valori positivi mantengono il peso, valori negativi lo azzerano.

La procedura di inizializzazione si basa su Wanda, un algoritmo di pruning che valuta i pesi in base alla loro magnitudine e alla norma dell’attivazione del canale di input. I pesi con punteggio alto ricevono logit iniziali intorno a +0,03, gli altri intorno a –0,03.

Tipi di feedback utilizzati

SFT (Supervised Fine‑Tuning): il modello imita risposte con risposte target fissate.
GRPO (Group Relative Policy Optimization): il modello genera più risposte, confronta le ricompense relative e aggiorna la politica con un obiettivo clipping.
SDFT (Self‑Distillation Fine‑Tuning): distillazione on‑policy dove il “teacher” è una media esponenziale del “student” e fornisce probabilità token‑by‑token.

In GRPO e SDFT le risposte sono prodotte con la maschera hard, ma i gradienti passano comunque attraverso la maschera soft, garantendo che le decisioni di cancellazione vengano ottimizzate.

Risultati sperimentali

Gli autori hanno testato il Deletion Tuning in tre scenari di apprendimento (reward‑based, supervised e distillazione) su modelli di varie dimensioni.

Llama‑8B su GSM8K: punteggio 83,55 % con Deletion Tuning vs 83,24 % con fine‑tuning completo. Prima del post‑training il modello segnava 60,27 %.
Nel regime di reinforcement learning, meno di un peso su duemila viene cancellato.
Le maschere occupano circa 30 MB, contro i 116 GB del checkpoint completo.
Su un modello mixture‑of‑experts (scale più grande) il Deletion Tuning ottiene 58,5 % su SimpleRL‑Zoo, pari al fine‑tuning completo (58,4 %).
Modelli più piccoli (Llama‑1B, Qwen‑14B) recuperano dal 90 % al 99 % delle prestazioni del fine‑tuning, con Qwen‑14B che segna 55,43 % contro 54,87 % del fine‑tuning.

Conservazione delle abilità preesistenti

La metrica forward KL misura lo spostamento della distribuzione di output rispetto al modello base. Durante il fine‑tuning completo, il KL sale a ~1‑1,5 e le prestazioni sui sei benchmark precedenti (HellaSwag, MMLU, TruthfulQA, WinoGrande, IFEval, HumanEval) calano di 1‑3 punti. Con Deletion Tuning il KL rimane ≤0,005 e la perdita di accuratezza è inferiore a un punto.

Metodi concorrenti come LoRA e Multiple Ticket Hypothesis (MTH) mostrano un deterioramento più marcato (fino a 5 punti) nonostante cambino un numero simile di parametri.

Analisi geometrica delle modifiche

Per capire perché il Deletion Tuning preserva meglio le capacità, gli autori hanno valutato:

Stable rank: indica il numero di direzioni energetiche nella matrice di aggiornamento. Deletion Tuning varia da 66 a 93.
Spectrum drift: variazione dei valori singolari rispetto al modello pre‑addestrato. Il drift del Deletion Tuning è ≤1,4 volte quello del fine‑tuning completo.
Principal‑weight overlap: frazione di posizioni di peso tra le principali 128 direzioni. Deletion Tuning mostra un overlap dal 0,43 al 0,46, simile al fine‑tuning (0,41‑0,46) e superiore a LoRA (0,48‑0,50).

Queste misure suggeriscono che le modifiche introdotte dal Deletion Tuning sono geometricamente più simili a quelle del fine‑tuning completo rispetto a metodi che agiscono su una piccola porzione di pesi ma in modo meno strutturato.

Implicazioni pratiche

Il Deletion Tuning offre diversi vantaggi:

Efficienza di memoria: le maschere sono di ordine di megabyte, rendendo l’adattamento di grandi modelli fattibile anche su hardware limitato.
Preservazione delle abilità: le prestazioni sui compiti precedenti rimangono quasi intatte, riducendo il rischio di “catastrophic forgetting”.
Flessibilità: lo stesso meccanismo può essere applicato a diversi tipi di apprendimento (reinforcement, supervised, distillazione) senza modificare i pesi di base.

Conclusioni e prospettive future

Il lavoro dimostra che, contrariamente all’intuizione tradizionale, la rimozione mirata di pochi pesi può introdurre nuove competenze in modelli di grandi dimensioni con un impatto minimo sulle capacità già acquisite. La combinazione di una buona inizializzazione (Wanda), di logit addestrabili e di feedback diversificati consente di apprendere maschere altamente efficaci.

Rimane da verificare se la stessa efficacia si mantiene su compiti più complessi, su lingue diverse dall’inglese e in scenari di multitasking continuo. Inoltre, l’esplorazione di tecniche di compressione della maschera (ad esempio quantizzazione) potrebbe ulteriormente ridurre i costi di distribuzione, rendendo il Deletion Tuning una soluzione pratica per il deployment di modelli personalizzati in ambienti con risorse limitate.

In sintesi, la capacità di “insegnare” a un modello tramite la rimozione selettiva di pesi apre una nuova frontiera nell’adattamento dei LLM, promettendo modelli più snelli, stabili e versatili.