Un aggiornamento per token mantiene l'obiettivo con risposte precedenti
In parole semplici
Il paper presenta Proximal KL, un modo per addestrare un modello linguistico usando risposte che un controllore può valutare, anche quando provengono da una versione precedente del modello. Il metodo corregge per ogni token il modo in cui è stato scelto e sottrae un costo limitato che dipende dai token successivi e da un modello di riferimento fisso.
In sette confronti testati con risposte generate da una versione diversa del modello, i modelli addestrati con Proximal KL hanno dato una quota maggiore di risposte corrette rispetto a GRPO su una serie di test matematici. Il risultato riguarda soltanto le due dimensioni di modello e i confronti esaminati.
La ricerca
Quando un modello linguistico impara da risposte generate da una sua versione precedente, correggere il campionamento di ogni token può ridurre la variabilità prodotta dalla correzione di un'intera risposta, ma può anche allontanare l'aggiornamento dall'obiettivo previsto. Si può usare la correzione per token conservando quell'obiettivo?
Proximal KL combina la correzione del campionamento di ogni token rispetto alla policy che lo ha generato con costi futuri limitati calcolati da un riferimento fisso, per conservare l'obiettivo dell'aggiornamento.
La correzione token per token può addestrare un modello linguistico usando risposte precedenti senza perdere l'obiettivo di un aggiornamento regolarizzato tramite KL, cioè vincolato dallo scostamento rispetto a un riferimento?
Proximal KL combina quella correzione con costi limitati derivati dai token successivi e misurati rispetto a un riferimento fisso.
I ricercatori hanno confrontato i modelli così addestrati con GRPO su otto insiemi di test matematici tenuti fuori dall'addestramento, che verificano se le risposte generate siano corrette.
Proximal KL ha ottenuto un'accuratezza aggregata per risposta superiore in tutti i sette confronti a condizioni corrispondenti con dati generati da una policy diversa da quella in aggiornamento, a sostegno di un vantaggio nelle condizioni testate.
Il teorema sull'obiettivo stazionario presuppone un aggiornamento esatto calcolato sull'intera popolazione delle risposte possibili, che attribuisca a ogni token tutti i futuri costi KL pertinenti. Nell'aggiornamento pratico, i costi vengono limitati o troncati e si usano ricompense normalizzate per gruppo e medie dei token per minibatch: queste scelte possono modificare l'aggiornamento atteso.
I confronti di accuratezza riguardano due dimensioni di Qwen3 e la serie di test matematici riportata, non altri modelli o attività.
Analisi
Dettagli
- Autori del paper originale
- Hao Bai, Jiarui Yao, Tong Zhang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive