ES
El crédito por token mejora el entrenamiento matemático de modelos de difusión
DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models · arXiv:2610.35201
En palabras sencillas
Los modelos de lenguaje de difusión completan palabras enmascaradas en varias rondas. La recompensa por la respuesta final no indica qué decisiones anteriores sobre palabras ayudaron a predecir mejor las que seguían enmascaradas.
El artículo presenta DTCA, que estima esos efectos según la categoría gramatical y usa las estimaciones para orientar el entrenamiento. En dos pruebas de matemáticas puntuadas según la corrección de la respuesta final, DTCA superó al modelo base con un límite equivalente de 256 tokens por respuesta y 256 pasos de eliminación de máscaras. Las pruebas no indican si el razonamiento intermedio era correcto.
La investigación
Cuando un modelo de lenguaje de difusión recibe una recompensa por una respuesta terminada, ¿cómo puede el entrenamiento determinar qué decisiones anteriores sobre tokens ayudaron a predecir mejor las palabras que seguían enmascaradas?
Esas decisiones interactúan durante las rondas sucesivas de eliminación de máscaras, así que una puntuación para toda la respuesta ofrece poca orientación sobre cada token.
DTCA estima cómo las decisiones sobre tokens afectan las predicciones posteriores y usa esas estimaciones para elegir pasos de entrenamiento y distribuir señales de aprendizaje en modelos de lenguaje de difusión.
DTCA primero usa secuencias de eliminación de máscaras generadas sin conexión para estimar cómo decidir un token cambia la confianza en las posiciones que siguen enmascaradas; luego promedia las estimaciones por categoría gramatical y emplea pesos fijos por categoría para seleccionar pasos de entrenamiento y asignar señales de aprendizaje por token.
También ajusta esas señales con cambios estimados en la incertidumbre de las predicciones a partir de las actualizaciones.
En MATH500, una prueba de matemáticas, y GSM8K, una prueba de preguntas matemáticas, los autores calculan la fracción de preguntas cuya respuesta final es correcta. Con un límite de 256 tokens por respuesta y 256 pasos de eliminación de máscaras, DTCA superó al checkpoint base reproducido por 6,8 y 2,1 puntos porcentuales, respectivamente.
Al sustituir sus créditos basados en contribuciones por créditos uniformes, la precisión bajó aunque se mantuvo la selección de pasos, lo que respalda el papel de esos créditos.
La evaluación abarca el razonamiento matemático con LLaDA-8B-Instruct. Las estimaciones de contribución de DTCA dependen del etiquetado de categorías gramaticales y de su alineación con los tokens, y usan cambios en la confianza de las predicciones como indicador del efecto de un token en la eliminación posterior de máscaras.
Qué muestran las pruebas
- El problema de asignar crédito
Denoising Token Credit Assignment (DTCA) es un método para asignar señales de aprendizaje a cada token durante el aprendizaje por refuerzo de modelos de lenguaje de difusión. Estos modelos deciden tokens en sucesivos pasos de eliminación de máscaras, y cada decisión puede afectar las predicciones posteriores en las posiciones que siguen enmascaradas.
La recompensa de la respuesta terminada no indica qué decisiones ayudaron; por eso, los autores preguntan cómo estimar sus contribuciones por separado.
- Las decisiones varían según la categoría
Para motivar una forma de estimar esas contribuciones, los autores analizaron secuencias generadas a partir del conjunto de entrenamiento de GSM8K. Midieron cómo cambiaba la confianza de las predicciones en las posiciones aún enmascaradas después de decidir un token y promediaron las estimaciones por categoría gramatical.
Las categorías diferían: los verbos tuvieron el mayor aumento promedio de confianza, seguidos de los sustantivos y los nombres propios; los determinantes y las adposiciones tuvieron aumentos menores. Este análisis de las secuencias es distinto de la evaluación final del modelo.
- De las estimaciones a las señales de entrenamiento
DTCA usa secuencias generadas sin conexión para estimar estos efectos antes del aprendizaje por refuerzo, promedia las estimaciones por categoría gramatical y las convierte en pesos fijos. Durante el entrenamiento, los pesos ayudan a seleccionar pasos de eliminación de máscaras y a ajustar las señales de aprendizaje para los objetivos de optimización. Esos objetivos pueden incluir tanto los tokens decididos en un paso seleccionado como las posiciones enmascaradas que se conservan.
DTCA también ajusta las señales con cambios estimados en la incertidumbre de las predicciones tras las actualizaciones del modelo.
- Qué muestran las pruebas
Los autores evaluaron el razonamiento matemático en MATH500 y GSM8K, puntuando la corrección de las respuestas finales en los conjuntos de prueba completos. Con un límite de 256 tokens por respuesta y 256 pasos de eliminación de máscaras, DTCA obtuvo más precisión que el checkpoint base reproducido en ambas pruebas.
En una ablación, mantuvieron la selección de pasos de DTCA y sustituyeron los créditos basados en contribuciones por créditos uniformes; la precisión bajó. Esta comparación respalda el papel de los créditos basados en contribuciones dentro de esa configuración.
Detalles
- Autores del paper original
- Hongze Chen, Miao Pan, Lizhou Liang, Qinfeng Li, Xinyin Ma
- Enviado a arXiv
- Licencia
- CC BY 4.0