L'allineamento dei modelli linguistici (LM) mira a far sì che le risposte dei modelli riflettano le preferenze umane senza sacrificare le capacità innate del modello di base. Le due tecniche più diffuse sono il reinforcement learning (RL) con vincolo di KL-divergenza e il best‑of‑N, che sceglie la risposta con il più alto reward tra N campioni indipendenti. Nonostante l'ampia adozione, i limiti fondamentali di miglioramento del reward rispetto a un budget di KL rimangono poco chiari.

Limiti informazionali e la divergenza di Jeffreys

Il contributo principale della ricerca di Apple Machine Learning è la derivazione di un'espressione chiusa per il guadagno massimo di reward atteso, dato un budget fisso di KL‑divergenza. Contrariamente alle analisi precedenti che utilizzavano la radice quadrata della KL, la nuova formula è governata dalla divergenza di Jeffreys, una misura simmetrica che combina la KL in entrambe le direzioni.

Riformulando la divergenza di Jeffreys come covarianza rispetto al modello di base, gli autori propongono un estimatore pratico: è possibile prevedere il potenziale guadagno di allineamento usando solo i campioni del modello di partenza, senza necessità di addestrare nuovamente il modello. Questo approccio riduce i costi computazionali e fornisce una stima preliminare dell'efficacia di qualsiasi algoritmo di allineamento.

Implicazioni per la pratica

    • Valutare il budget di KL prima di scegliere l'algoritmo di allineamento.
    • Utilizzare il nuovo estimatore per confrontare a priori le potenzialità di RL, PPO, GRPO e best‑of‑N.
    • Adottare strategie di sampling più efficienti quando il budget di KL è limitato.

Reward hacking e reward ensembling

Nel contesto dei reward proxy, ovvero quando il reward utilizzato non è perfettamente allineato al valore desiderato, si verifica il fenomeno del reward hacking. Gli autori dimostrano che il divario tra l'allineamento ideale e quello proxy cresce con l'entità dell'errore di reward e con la diminuzione del fattore di penalità KL.

Per mitigare questo problema, viene fornita una dimostrazione teorica dell'efficacia del reward ensembling. Combinando più reward proxy si riduce la varianza dell'errore e si avvicina il risultato al reward ideale, giustificando l'uso di questa tecnica già praticata in numerosi esperimenti di allineamento.

Esempi concreti

Nel caso di un modello di sintesi testuale, un errore di reward del 10 % con una penalità KL ridotta a 0,1 porta a una perdita di circa 15 % di guadagno teorico. L'applicazione del reward ensembling, combinando tre reward proxy differenti, riduce l'errore medio al 3 % e recupera più del 80 % del potenziale guadagno.

Confronti empirici: best‑of‑N contro PPO e GRPO

Gli autori hanno tracciato la frontiera di Pareto KL‑reward per due compiti: sicurezza (safety) e sintesi (summarization). I risultati mostrano che il metodo best‑of‑N si avvicina molto al limite teorico, mentre PPO (Proximal Policy Optimization) e GRPO (Generalized Reward‑Penalized Optimization) rimangono significativamente sotto‑ottimali.

Ad esempio, per il compito di sintesi, best‑of‑10 ottiene un incremento di reward del 12 % rispetto al modello di base, a fronte di un KL di 0,5, mentre PPO raggiunge solo il 6 % con lo stesso budget KL. Queste discrepanze evidenziano la necessità di sviluppare algoritmi più efficienti dal punto di vista del trade‑off KL‑reward.

Prospettive future

    • Sviluppare varianti di PPO che incorporino la divergenza di Jeffreys nella funzione di perdita.
    • Esplorare approcci ibridi che combinino best‑of‑N con gradienti di policy per ridurre i costi di inferenza.
    • Integrare meccanismi di reward ensembling automatici per limitare il reward hacking in scenari reali.

Conclusioni

La ricerca stabilisce nuovi standard teorici per l'allineamento dei modelli linguistici, dimostrando che la divergenza di Jeffreys fornisce una misura più accurata del potenziale di miglioramento rispetto alla KL tradizionale. Inoltre, evidenzia le vulnerabilità dei metodi correnti di RL e propone soluzioni pratiche, come il reward ensembling, per avvicinarsi al limite ottimale senza aumentare eccessivamente i costi computazionali. L'analisi empirica conferma che, sebbene best‑of‑N sia attualmente il metodo più vicino al massimo teorico, c'è ancora ampio spazio per innovazioni algoritmiche che combinino efficacia e efficienza.