ES
Info-GRPO vincula rutas de razonamiento con semillas de entrenamiento
Correlation-Aware Exploration for Long-Trace Reasoning · arXiv:2610.34949
En palabras sencillas
Los modelos de lenguaje pueden quedarse con pocas maneras de resolver problemas que requieren razonamientos largos. Añadir aleatoriedad a cada palabra siguiente podría ayudarles a explorar, pero también puede empujarlos una y otra vez hacia palabras improbables.
Info-GRPO es un método de entrenamiento que añade semillas digitales a las instrucciones para guiar distintas rutas de razonamiento ante una misma pregunta. Los autores encontraron una precisión media mayor que con GRPO en una prueba de matemáticas para uno de los modelos evaluados, aunque también informaron de un caso en que el método rindió peor.
El resultado es evidencia prometedora sobre este enfoque de entrenamiento, no una garantía para todos los modelos y tareas.
La investigación
¿Puede el entrenamiento animar a un modelo de lenguaje a explorar distintas maneras de resolver un problema largo sin volver menos predecible cada palabra siguiente?
Los autores sostienen que las bonificaciones de entropía por token pueden empujar la probabilidad hacia palabras improbables a lo largo de toda la secuencia, lo que crea una tensión entre explorar y converger.
Info-GRPO usa semillas digitales durante el entrenamiento para vincular semillas distintas con rutas de razonamiento diferentes, mientras cada ruta condicionada gana confianza.
Info-GRPO entrena con instrucciones originales y con versiones ampliadas mediante semillas digitales. Su objetivo promueve la variación entre rutas sin semilla y reduce la incertidumbre en las rutas condicionadas por una semilla; durante el uso, el modelo recibe la instrucción original.
En AIME24, una prueba de matemáticas, los autores informan 62.08% de Avg@8 para Info-GRPO y 57.92% para GRPO con DeepSeek-R1-Distill-Qwen-7B. Avg@8 es la precisión media de ocho pruebas independientes de generación. Esto respalda una mejora en esa comparación, no una ventaja universal.
Los resultados abarcan tareas de matemáticas y programación con recompensas verificables, y presupuestos de respuesta de hasta 8,192 tokens.
Los autores no informan medidas de dispersión para Avg@8 ni repitieron el entrenamiento completo con semillas aleatorias independientes; por tanto, los resultados no establecen con qué fiabilidad se repetirían las mejoras en distintas ejecuciones de entrenamiento.
Qué muestran las pruebas
- El reto de explorar
Info-GRPO es un método de entrenamiento de modelos de lenguaje que amplía Group Relative Policy Optimization (GRPO). Aborda un problema de las secuencias largas de razonamiento: GRPO puede reforzar las rutas con recompensas altas y reducir la variedad de estrategias que usa el modelo.
Los autores estudian si una bonificación de entropía por token puede fomentar la exploración sin volver menos estable el entrenamiento.
- Evaluar la bonificación de entropía
Una bonificación de entropía por token reparte la probabilidad entre los posibles tokens siguientes. Los autores sostienen que, con un vocabulario grande, ejerce una fuerte presión sobre los tokens muy improbables en cada paso, y que esa presión se acumula a lo largo de una secuencia extensa.
En una ablación con DeepSeek-R1-Distill-Qwen-7B, la bonificación aplicada a todo el vocabulario obtuvo menos puntuación en AIME24 que GRPO sin bonificación, mientras que limitarla a los tokens más probables dio una puntuación ligeramente superior. Esta comparación evalúa el alcance de la bonificación en esas tres configuraciones.
- Vincular semillas y rutas
Info-GRPO añade semillas digitales a las instrucciones durante el entrenamiento y combina generaciones de instrucciones con semillas y sin ellas en su objetivo. Busca que las semillas guíen rutas de razonamiento distintas mientras cada modelo condicionado por una semilla gana confianza.
La semilla no se añade durante el uso. En AIME24, una prueba de matemáticas, Info-GRPO obtuvo 62.08% de Avg@8 frente al 57.92% de GRPO con DeepSeek-R1-Distill-Qwen-7B; Avg@8 es la precisión media de ocho pruebas independientes de generación.
- Comprobar el control con semillas
Un control ayuda a distinguir el método completo de la mera ampliación de instrucciones. En AIME24, GRPO entrenado con instrucciones que incluían semillas, pero sin el término de regularización de información mutua, obtuvo 42.23% de Avg@8, por debajo del 45.04% de GRPO estándar con Qwen2.5-Math-7B.
El control sugiere que añadir semillas por sí solo no reprodujo la mejora informada, aunque no aísla todos los efectos de las semillas en Info-GRPO.
- Alcance y excepción
La evidencia informada también incluye una prueba de programación y una comparación del muestreo durante el uso. En LiveCodeBench, que evalúa la generación de código, Info-GRPO obtuvo mayor precisión Avg@8 que GRPO con DeepSeek-R1-Distill-Qwen-7B.
En AIME24, ese modelo alcanzó una precisión del 80% por mayoría de votos con ocho muestras por pregunta usando Info-GRPO, frente a 64 con GRPO. Sin embargo, en AIME25 Info-GRPO obtuvo una puntuación inferior a GRPO con Qwen2.5-7B, por lo que las mejoras no son universales.
Detalles
- Autores del paper original
- Junxing Hu, Zicheng Zhang, Zhiqian Zhang, Ai Han, Yifeng Zhang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive