Massimizzare l’utilizzo della capacità degli adapter LoRA per mitigare il trade‑off apprendimento‑dimenticanza

Gli adapter a bassa dimensionalità (LoRA) consentono di aggiornare modelli di linguaggio di grandi dimensioni aggiungendo matrici di rango ridotto. Sebbene possano avere centinaia di direzioni di aggiornamento possibili, ne sfruttano tipicamente solo una frazione. Questo è problematico perché l’obiettivo principale di un adapter è permettere al modello di apprendere nuovo materiale senza compromettere le conoscenze già acquisite.

Problema e approccio proposto

Espandere le dimensioni dell’adapter non risolve sistematicamente il problema: nei test su matematica, istruzioni in Hausa e addestramento misto, l’adattamento a basso rango utilizza una quota minore delle direzioni disponibili man mano che la dimensione configurata cresce. Inoltre, gli strati più profondi del modello tendono a sfruttare queste direzioni meno pienamente rispetto a quelli più superficiali.

Sawada e Goyal chiedono se sia possibile incentivare l’addestramento a distribuire più equamente le direzioni disponibili, mantenendo inalterata la forma dell’adapter. Misurano l’uniformità della distribuzione dell’aggiornamento e introducono una piccola ricompensa per una dispersione più bilanciata durante il training.

La ricompensa viene calcolata senza scomporre l’aggiornamento nelle singole direzioni, preservando così la struttura originale di LoRA.

Misure di capacità efficace

Il rango configurato indica quante direzioni sono teoricamente disponibili, non quante di esse contribuiscano effettivamente al cambiamento. Per valutare l’utilizzo effettivo, gli autori impiegano il Roy–Vetterli effective rank, basato sui valori singolari dell’aggiornamento. Il valore è 1 quando l’intera modifica è concentrata in una sola direzione e si avvicina al rango configurato quando l’energia è distribuita uniformemente.

In un esperimento misto a rango 896, LoRA standard raggiunge un rango efficace di circa 361, evidenziando un divario significativo tra capacità teorica e reale.

Il rango efficace, tuttavia, non garantisce performance migliori: è una stima inferiore e non assicura che il rango aumenti ad ogni passo di addestramento.

Ricompensa per energia bilanciata

Per colmare il divario tra rango configurato ed efficace, gli autori aggiungono al classico loss di language modeling una ricompensa basata sul Rényi‑2 effective rank. Questa misura utilizza i valori singolari al quadrato, normalizzati per l’energia totale, e può essere calcolata senza eseguire una SVD completa.

• Il logaritmo del Rényi‑2 rank è inserito nella funzione di perdita.
• Un peso di ricompensa controlla l’influenza della penalità rispetto al loss principale.
• Un peso più elevato spinge verso una distribuzione più uniforme dell’energia, riducendo l’influenza del loss di modellazione.

Il Rényi‑2 rank è una stima inferiore del Roy–Vetterli rank, quindi la ricompensa incoraggia una proprietà correlata senza ottimizzare direttamente il diagnostic usato negli esperimenti.

Alternative basate su limitazione della norma

Un’altra possibile strategia consiste nel limitare la norma della direzione più forte dell’aggiornamento, incentivando al contempo l’aumento dell’energia totale. Questa idea è realizzata in NB‑LoRA (Norm‑Bounded LoRA) tramite la parametrizzazione Stiefel‑Cayley, che impone un cap sulla norma.

Nei confronti misti, NB‑LoRA senza penalità aumenta il rango efficace e migliora tutti i metrici rispetto a LoRA standard. Tuttavia, il cap di norma può influenzare i risultati, rendendo difficile isolare l’effetto della distribuzione bilanciata.

Inoltre, la parametrizzazione Stiefel‑Cayley può rendere l’ottimizzazione più complessa e instabile. Per questi motivi, gli autori preferiscono la ricompensa basata sul Rényi‑2, che non richiede modifiche alla parametrizzazione di LoRA.

Calcolo efficiente della ricompensa

LoRA rappresenta l’aggiornamento come prodotto di due fattori più piccoli. Gli autori sfruttano questi fattori per calcolare le statistiche di energia senza costruire la matrice completa né differenziare attraverso una SVD.

• Per ogni layer target, vengono formate le matrici Gram dei fattori.
• Le tracce di queste matrici forniscono i termini necessari per il Rényi‑2 rank.
• Il termine di penalità logaritmica viene aggiunto ai layer di down‑projection delle MLP.

Questo approccio è compatibile anche con varianti di LoRA come PiSSA e LoRA‑XS. La penalità può generare gradienti di grande ampiezza quando l’aggiornamento è vicino a zero, rendendo cruciale la fase iniziale del training.

Impatto su ritenzione e adattamento al mix

Con la ricompensa attiva, gli autori hanno testato un addestramento misto su un milione di token supervisionati (matematica, traduzione ceco‑inglese e istruzioni Hausa). Le probe di ritenzione includono testo Wiki, codice StarCoder e set di test tenuti da parte per matematica e traduzione.

Su Qwen2.5‑0.5B, un peso di penalità 0,01 incrementa il rango efficace di circa 300 punti, migliorando sia la perplessità di training che quella di Wiki. In tutti e tre i modelli testati, il peso riduce la perplessità media di Wiki per tutti i ranghi testati ≥ 16. L’unica eccezione è Qwen2.5‑3B‑Instruct a rango 16, dove la perplessità di training peggiora.

Questi risultati suggeriscono che una maggiore ritenzione non è semplicemente dovuta a un sotto‑fit del mix: i modelli penalizzati migliorano sia la perplessità di training che quella di valutazione, a differenza di baseline a basso budget che mostrano buone metriche di ritenzione ma peggiori performance sul mix.

Influenza della programmazione della ricompensa

Gli esperimenti su Hausa mostrano che il momento di inizio della penalità influisce sul trade‑off tra ritenzione e adattamento. Avviare la penalità al passo 50 o 400 porta a perplessità di Wiki e StarCoder inferiori rispetto a LoRA standard, con il passo 400 che preserva meglio la performance sul task.

Il motivo è che il gradiente della penalità è molto elevato quando l’aggiornamento è vicino a zero; ritardare l’applicazione consente al modello di stabilizzarsi prima di subire la spinta verso una distribuzione più uniforme.

Conclusioni e prospettive future

Il lavoro dimostra che incentivare una distribuzione più bilanciata dell’energia degli aggiornamenti è un approccio efficace per aumentare il rango efficace di LoRA senza modificare la sua struttura di base. La ricompensa basata sul Rényi‑2 rank è computazionalmente efficiente e si integra facilmente con le implementazioni esistenti.

Le evidenze indicano che, con un peso di penalità adeguato e una programmazione attenta, è possibile migliorare simultaneamente la capacità di apprendere nuovi dati e la ritenzione delle conoscenze precedenti. Tuttavia, il miglioramento non è garantito in tutti i casi e dipende dalla configurazione del modello, dal rango scelto e dal momento di inizio della penalità.

Future ricerche potrebbero esplorare:

• l’interazione tra diverse misure di rango efficace;
• l’applicazione della ricompensa a modelli più grandi e a domini più diversificati;
• l’ottimizzazione dinamica del peso di penalità in base al progresso del training.

In sintesi, una semplice aggiunta di penalità può trasformare significativamente l’efficacia degli adapter LoRA, aprendo nuove strade per mitigare il trade‑off apprendimento‑dimenticanza nei modelli di linguaggio di grandi dimensioni.