NgramRL reutiliza respuestas de entrenamiento para acelerar las ejecuciones de generación por refuerzo
NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding · arXiv:2610.32881
En palabras sencillas
Durante el entrenamiento por refuerzo, un modelo responde muchas veces a las mismas instrucciones antes de actualizarse. NgramRL usa respuestas recientes a una misma instrucción para proponer partes de una respuesta nueva, y luego el modelo actual comprueba esas propuestas.
En pruebas con dos familias de modelos y tres cargas de trabajo, conservó más tokens por comprobación del modelo que otros métodos de borradores durante el 30 % final del entrenamiento, cuando la caché ya se había llenado. Los resultados son promedios de las combinaciones probadas, no una garantía para cada ejecución.
La investigación
Durante el ajuste de modelos por refuerzo, el modelo debe generar muchas respuestas antes de poder actualizarse, y esta etapa puede ocupar más del 70 % de un paso de entrenamiento.
¿Cómo se puede acelerar esa generación cuando otro modelo auxiliar para borradores competiría por la memoria GPU y podría quedar desactualizado a medida que cambia el modelo entrenado?
NgramRL reutiliza como borradores las respuestas recientes de entrenamiento a cada instrucción y las comprueba con el modelo actual para acelerar las ejecuciones de generación del entrenamiento por refuerzo.
NgramRL guarda resultados recientes por separado para cada instrucción y propone continuaciones coincidentes mientras el modelo actual las comprueba.
Los investigadores lo compararon con otros tres métodos de borradores sin modelo auxiliar durante ejecuciones idénticas de GRPO, con el mismo presupuesto de borrador de 16 y la misma configuración de entrenamiento.
En dos familias de modelos y tres cargas de trabajo, su media alcanzó entre 3,60 y 7,77 tokens conservados por pasada hacia delante del modelo durante el 30 % final del entrenamiento.
Esta medida cuenta los tokens que se conservan por pasada del modelo objetivo; los resultados respaldan que repetir instrucciones puede hacer más eficiente la generación de respuestas en estas ejecuciones.
La aceleración de 1,38x por precarga se midió con Qwen3-8B en Spider, usando una GPU RTX PRO 6000 y un equipo anfitrión Threadripper de 32 núcleos. Por tanto, no demuestra que se obtenga la misma mejora en tiempo real con otras cargas de trabajo o hardware. La evaluación de entrenamiento más amplia incluyó dos familias de modelos y tres cargas de trabajo.
Qué muestran las pruebas
- Una etapa de generación costosa
NgramRL es un sistema que acelera las ejecuciones de generación durante el ajuste de modelos por refuerzo. Aborda cómo reducir el tiempo dedicado a generar respuestas antes de cada actualización del modelo, cuando un modelo auxiliar para borradores competiría por la memoria GPU y podría quedar desactualizado a medida que cambia el modelo durante el entrenamiento.
El artículo informa que la generación de estas respuestas puede ocupar más del 70 % de un paso de entrenamiento, por lo que es una etapa importante que se puede intentar acelerar.
- Las respuestas anteriores se solapan
El sistema aprovecha la repetición entre épocas de entrenamiento. Los autores compararon respuestas a una misma instrucción de épocas consecutivas y encontraron que una respuesta anterior cubría entre el 48 y el 96 % de una posterior, con secuencias recurrentes de entre 7 y 23 tokens.
Esos intervalos señalan una fuente de texto para los borradores que sigue las instrucciones de entrenamiento, aunque no indican cuánto se solapará una instrucción concreta.
- El modelo comprueba los borradores
NgramRL guarda respuestas recientes en una caché separada para cada instrucción y propone continuaciones a partir de texto coincidente. El modelo actual verifica esas propuestas; si rechaza una, se aplica un paso de corrección que mantiene los tokens conservados distribuidos de acuerdo con ese modelo.
La caché puede sugerir texto sin cambiar la distribución de tokens del modelo; esa garantía se refiere al muestreo, no a una medición de la precisión en las tareas ni de la convergencia.
- Más tokens por pasada del modelo
Los investigadores compararon NgramRL con otros tres métodos de borradores sin modelo auxiliar, bajo la misma configuración de GRPO, en ejecuciones de entrenamiento idénticas y con un presupuesto de borrador de 16. Midieron los tokens conservados por cada pasada hacia delante del modelo objetivo.
Durante el 30 % final del entrenamiento, la media osciló entre 3,60 y 7,77 en dos familias de modelos y tres cargas de trabajo. El máximo de esa comparación fue 7,0 veces el de la decodificación con búsqueda de instrucciones para Qwen3-8B en Spider.
El resumen del artículo informa por separado de un máximo global de 1,99 veces SuffixDecoding; esa cifra corresponde a otro alcance de reporte.
- La precarga reduce la espera
El sistema también prepara posibles borradores siguientes mientras el modelo verifica los actuales. En el perfilado de Qwen3-8B con Spider y 16 candidatos, esta precarga cubrió el 96,6 % de los resultados de verificación observados y alcanzó 1,38 veces el rendimiento de generación medido de NgramRL síncrono.
Ese resultado de velocidad se limita a la carga de trabajo y al hardware perfilados; la evaluación de entrenamiento más amplia incluyó dos familias de modelos y tres cargas de trabajo.
Detalles
- Autores del paper original
- Nilesh Prasad Pandey, Jangseon Park, Jason Kong, Onat Gungor, Tajana Rosing
- Enviado a arXiv
- Licencia
- CC BY 4.0