Una actualización por token mantiene el objetivo al entrenar con respuestas antiguas
En palabras sencillas
El artículo presenta Proximal KL, un método para entrenar un modelo de lenguaje con respuestas que un verificador puede puntuar, incluso si las generó una versión anterior del modelo. Corrige cada palabra según cómo se muestreó y también resta un costo limitado que depende de palabras posteriores y de un modelo de referencia fijo.
En siete comparaciones fuera de política, los modelos entrenados obtuvieron mayor precisión por respuesta que GRPO en un conjunto de pruebas matemáticas. Ese hallazgo se limita a los dos tamaños de modelo probados y a esas comparaciones.
La investigación
Cuando un modelo de lenguaje aprende de respuestas generadas por una versión anterior de sí mismo, corregir cada palabra muestreada puede reducir la inestabilidad de corregir una respuesta completa, pero también puede desviar la actualización de su objetivo previsto. ¿Puede una actualización corregir palabra por palabra y conservar ese objetivo?
Proximal KL combina la corrección de cada token según la política que lo generó con costos futuros limitados de una referencia fija, para preservar el objetivo de la actualización.
¿Puede la corrección token por token entrenar un modelo de lenguaje con respuestas antiguas sin perder el objetivo de una actualización regularizada por KL? Proximal KL combina esa corrección con costos limitados de tokens futuros, medidos respecto de una referencia fija.
Los investigadores compararon los modelos entrenados con Proximal KL y GRPO en ocho conjuntos reservados de pruebas matemáticas, que evalúan si las respuestas generadas son correctas.
Proximal KL obtuvo mayor precisión agregada por respuesta en las siete comparaciones fuera de política emparejadas, lo que respalda una ventaja en las condiciones probadas.
El teorema sobre la política estacionaria supone una actualización exacta sobre toda la población y que se contabiliza por completo el efecto KL futuro. La actualización práctica limita o trunca los costos y usa recompensas normalizadas por grupo y promedios de tokens por minib lote, lo que puede cambiar su actualización esperada.
Las comparaciones de precisión abarcan dos tamaños de Qwen3 y el conjunto de pruebas matemáticas descrito, no otros modelos ni tareas.
Análisis
Detalles
- Autores del paper original
- Hao Bai, Jiarui Yao, Tong Zhang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive