Por qué los rollouts grandes aprenden más lento, pero fallan en plazos similares

Generar respuestas nuevas del modelo para cada actualización de la política hace costoso el entrenamiento con recompensas verificables.

Los lotes más grandes pueden repartir esa generación entre más actualizaciones, pero en el entrenamiento de varios pasos no está claro si la regla habitual de la raíz cuadrada para la tasa de aprendizaje conserva el avance, ni cómo cambiar el tamaño del lote afecta al momento en que falla el entrenamiento.

El marco de dos relojes de los autores separa las respuestas necesarias para aprender de las consumidas antes del fallo y explica por qué los rollouts más grandes ralentizan el avance, pero quizá no cambien el punto de fallo.

Los autores presentan un marco de dos relojes para preguntar si los lotes más grandes de respuestas preservan la eficiencia de muestreo en Group Relative Policy Optimization (GRPO) de varios pasos, un método para entrenar modelos con respuestas verificables. Comparan ejecuciones de entrenamiento con distintos tamaños de rollout bajo el escalado de la tasa de aprendizaje por la raíz cuadrada y miden las respuestas consumidas para alcanzar objetivos de precisión en validación.

Con ocho pasos del optimizador por rollout, el exponente del coste en respuestas aumentó de 0.15 a 0.44 cuando la tasa de aprendizaje para lotes pequeños pasó de 10⁻⁶ a 10⁻⁵.

Por tanto, los lotes más grandes necesitaron más respuestas para alcanzar la misma precisión, mientras que un ajuste separado de ejecuciones sin recorte respaldó que la cantidad de respuestas hasta el fallo es aproximadamente independiente del tamaño del lote con esa regla de escalado.

La evidencia procede de entrenamiento GRPO de varios pasos en una sola familia de modelos y un solo dominio de tareas.

La teoría es local, la curvatura no se midió directamente a esta escala, los puntos de fallo variaron entre semillas y la eficiencia se contó en respuestas, no en tokens, coste computacional ni tiempo transcurrido.