Pourquoi les grands rollouts ralentissent l’apprentissage, sans avancer l’échec

Générer de nouvelles réponses du modèle à chaque mise à jour de la politique rend coûteux l’entraînement avec des récompenses vérifiables.

Les grands lots permettent de répartir cette génération sur davantage de mises à jour, mais dans un entraînement en plusieurs étapes, on ne sait pas clairement si la règle habituelle où le taux d’apprentissage augmente comme la racine carrée de la taille du lot préserve les progrès, ni comment la taille du lot influe sur le moment où l’entraînement échoue.

Le cadre à deux horloges des auteurs distingue les réponses nécessaires à l’apprentissage de celles consommées avant l’échec : il explique pourquoi les grands rollouts ralentissent les progrès, sans nécessairement déplacer le seuil d’échec.

Les auteurs proposent un cadre à deux horloges pour déterminer si les lots de réponses plus grands préservent l’efficacité en réponses dans Group Relative Policy Optimization (GRPO) en plusieurs étapes, une méthode qui entraîne des modèles à partir de réponses vérifiables.

Ils comparent des entraînements avec différentes tailles de rollout selon une règle où le taux d’apprentissage augmente comme la racine carrée de la taille du lot. Ils mesurent le nombre de réponses consommées pour atteindre des objectifs de précision sur des données de validation.

Avec huit étapes d’optimisation par rollout, l’exposant du coût en réponses est passé de 0.15 à 0.44 quand le taux d’apprentissage pour les petits lots est passé de 10⁻⁶ à 10⁻⁵. Les lots plus grands nécessitaient donc davantage de réponses pour atteindre la même précision, tandis qu’un ajustement distinct sur des exécutions sans clipping appuyait l’idée que le nombre de réponses avant l’échec restait à peu près indépendant de la taille du lot selon la règle testée.

Les résultats proviennent d’un entraînement GRPO en plusieurs étapes, sur une seule famille de modèles et un seul domaine de tâches.

La théorie ne vaut que localement, la courbure n’a pas été mesurée directement à cette échelle, les seuils d’échec variaient selon les graines aléatoires, et l’efficacité a été calculée en nombre de réponses, sans tenir compte des jetons, du coût de calcul ni du temps écoulé.