Une mise à jour token par token maintient l'entraînement sur réponses obsolètes orienté vers sa cible
En termes simples
L'article introduit Proximal KL, une méthode pour entraîner un modèle de langue à partir de réponses qu'un vérificateur peut noter, même si ces réponses proviennent d'une version plus ancienne du modèle. Elle corrige chaque mot selon la façon dont il a été échantillonné, et soustrait également un coût borné basé sur les mots suivants ainsi qu'un modèle de référence fixe.
Dans sept comparaisons hors-politique testées, les modèles entraînés ont obtenu une précision de réponse supérieure à GRPO sur une suite de tests mathématiques. Ce résultat se limite aux deux tailles de modèles testées et à ces comparaisons.
La recherche
Quand un modèle de langue apprend à partir de réponses générées par une version antérieure de lui-même, corriger chaque mot échantillonné peut réduire l'instabilité liée à la correction d'une réponse entière, mais risque aussi de déplacer la mise à jour loin de sa cible prévue. Une mise à jour peut-elle utiliser la correction au niveau du mot tout en conservant cette cible ?
Proximal KL associe la correction propre à chaque token échantillonné; selon la politique qui l'a généré; à des coûts futurs bornés issus d'une référence fixe, afin de préserver la cible de la mise à jour.
Peut-on entraîner un modèle de langue token par token à partir de réponses plus anciennes sans perdre la cible d'une mise à jour régularisée par KL ? Proximal KL combine cette correction avec des coûts bornés issus des tokens futurs, mesurés par rapport à une référence fixe.
Les chercheurs ont comparé ses modèles entraînés à GRPO sur huit ensembles de tests mathématiques de validation, qui vérifient si les réponses générées sont correctes. Proximal KL a obtenu une précision agrégée au niveau de la réponse supérieure dans les sept comparaisons hors-politique appariées, ce qui appuie un avantage dans les contextes testés.
Le théorème sur la politique stationnaire suppose une mise à jour de population exacte avec le crédit KL futur complet. La mise à jour pratique écrête ou tronque les coûts et utilise des récompenses normalisées par groupe ainsi que des moyennes de tokens par mini-batch, ce qui peut modifier son espérance de mise à jour.
Les comparaisons de précision portent sur deux tailles de Qwen3 et la suite de tests mathématiques rapportée, et non sur d'autres modèles ou tâches.
Analyse
Détails
- Auteurs de l’article original
- Hao Bai, Jiarui Yao, Tong Zhang
- Soumis à arXiv
- Licence
- arXiv non-exclusive