FR
Les crédits par token améliorent l’entraînement mathématique des modèles à diffusion
DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models · arXiv:2610.35201
En termes simples
Les modèles de langage à diffusion complètent les mots masqués en plusieurs étapes. La récompense d’une réponse terminée ne dit pas quels choix de mots faits plus tôt ont facilité la prédiction des autres mots masqués. L’article présente DTCA, qui estime ces effets par catégorie grammaticale et utilise les estimations pour guider l’entraînement.
Sur deux tests de mathématiques évalués selon l’exactitude de la réponse finale, DTCA a dépassé le modèle de base avec une limite de réponse comparable de 256 tokens et 256 étapes de débruitage ; ces tests ne permettent pas de savoir si le raisonnement intermédiaire était correct.
La recherche
Quand un modèle de langage à diffusion reçoit une récompense pour une réponse terminée, comment l’entraînement peut-il déterminer quels choix de tokens faits plus tôt ont facilité la prédiction des mots encore masqués ?
Ces choix interagissent au fil des étapes répétées de débruitage ; une note attribuée à toute la réponse renseigne donc peu sur le rôle de chaque token.
DTCA estime comment les choix de tokens influencent les prédictions ultérieures, puis utilise ces estimations pour sélectionner les étapes d’entraînement et répartir les signaux d’apprentissage dans les modèles de langage à diffusion.
DTCA utilise d’abord des séquences de débruitage hors ligne pour estimer comment le choix d’un token modifie la confiance aux positions encore masquées. La méthode calcule les moyennes par catégorie grammaticale, puis s’appuie sur des poids fixes pour sélectionner les étapes d’entraînement et attribuer des signaux d’apprentissage au niveau des tokens.
Elle ajuste aussi ces signaux à partir des variations estimées de l’incertitude des prédictions après les mises à jour.
Sur MATH500, un test de mathématiques, et GSM8K, un test de problèmes mathématiques, les auteurs mesurent la proportion de questions dont la réponse finale est correcte. Avec une limite de 256 tokens par réponse et 256 étapes de débruitage, DTCA dépasse le point de contrôle de base reproduit de 6.8 et 2.1 points de pourcentage, respectivement.
Lorsque les crédits fondés sur les contributions sont remplacés par des crédits uniformes, l’exactitude baisse alors que la sélection des étapes est conservée ; cette comparaison étaye le rôle de ces crédits.
L’évaluation porte sur le raisonnement mathématique avec LLaDA-8B-Instruct. Les estimations de contribution de DTCA dépendent de l’étiquetage des catégories grammaticales et de leur alignement sur les tokens.
Elles utilisent les variations de confiance des prédictions comme indicateur de l’effet d’un token sur les étapes ultérieures de débruitage.
Ce que montrent les preuves
- Le problème de l’attribution du crédit
Denoising Token Credit Assignment (DTCA) est une méthode qui attribue des signaux d’apprentissage au niveau des tokens pendant l’apprentissage par renforcement de modèles de langage à diffusion. Ces modèles décident des tokens au fil d’étapes répétées de débruitage, et chaque choix peut influencer les prédictions ultérieures aux positions encore masquées.
La récompense de la réponse terminée ne permet pas de savoir quels choix ont aidé ; les auteurs cherchent donc à estimer séparément leur contribution.
- Les choix varient selon la catégorie
Pour motiver leur méthode d’estimation des contributions, les auteurs ont analysé des séquences produites à partir des données d’entraînement de GSM8K. Ils ont mesuré la variation de confiance des prédictions aux positions encore masquées après le choix d’un token, puis calculé la moyenne des estimations par catégorie grammaticale.
Les catégories différaient : les verbes avaient le gain moyen de confiance le plus élevé, suivis des noms et des noms propres, tandis que les déterminants et les adpositions avaient des gains plus faibles. Cette analyse des séquences est distincte de l’évaluation finale du modèle.
- Des estimations aux signaux d’entraînement
Avant l’apprentissage par renforcement, DTCA utilise des séquences hors ligne pour estimer ces effets, calcule les moyennes par catégorie grammaticale et les convertit en poids fixes. Pendant l’entraînement, ces poids aident à sélectionner les étapes de débruitage et à ajuster les signaux d’apprentissage des cibles d’optimisation.
Ces cibles peuvent inclure les tokens décidés à une étape sélectionnée et les positions encore masquées. DTCA ajuste aussi les signaux en fonction des variations estimées de l’incertitude des prédictions après les mises à jour du modèle.
- Ce que montrent les tests
Les auteurs ont évalué le raisonnement mathématique sur MATH500 et GSM8K, en vérifiant l’exactitude des réponses finales sur les ensembles de test complets. Avec une limite de 256 tokens par réponse et 256 étapes de débruitage, DTCA a obtenu une exactitude supérieure à celle du point de contrôle de base reproduit pour les deux tests.
Une ablation a conservé la sélection des étapes de DTCA, mais remplacé les crédits fondés sur les contributions par des crédits uniformes ; l’exactitude a diminué. Cette comparaison étaye le rôle des crédits fondés sur les contributions dans ce cadre précis.
Détails
- Auteurs de l’article original
- Hongze Chen, Miao Pan, Lizhou Liang, Qinfeng Li, Xinyin Ma
- Soumis à arXiv
- Licence
- CC BY 4.0