MagicBeanStalk construit des problèmes d'entraînement à partir de graines difficiles

Lorsqu'un modèle obtient toutes ses réponses correctes sur une question; ou toutes incorrectes —, ces réponses n'offrent aucun contraste permettant d'apprendre à partir de cette question.

L'article demande si des questions difficiles peuvent tout de même être utiles en révélant des étapes de raisonnement que l'on peut transformer en nouveaux problèmes d'entraînement plus pertinents.

MagicBeanStalk transforme des problèmes difficiles en nouvelles questions d'entraînement calibrées pour le modèle, en reconstruisant leurs étapes de raisonnement vérifiées.

Les auteurs cherchent à savoir si un problème difficile peut guider la création d'un nouveau problème offrant au modèle un retour utile.

Un test sur 98 graines mathématiques a montré qu'un exemple vérifié d'un sous-problème plus simple, fondé sur le plan de raisonnement, a aidé le modèle cible à résoudre certains problèmes originaux.

MBS applique cette idée de manière récursive, puis filtre les candidats avec le modèle cible. Après un entraînement continu, la précision moyenne pass@1 de gpt-oss-120b sur huit tests de mathématiques est passée de 61,2 à 69,8 ; l'entraînement sur le mélange source complet a atteint 62,3.

Ces résultats sont issus de modèles, d'ensembles de problèmes et de limites de réponse particuliers. Les données générées et les modèles utilisés pour les auditer peuvent contenir des erreurs ; les évaluations en finance n'établissent pas que de telles données d'entraînement sont fiables pour des décisions financières.

Certains modèles enseignants sont des API propriétaires, dont les modifications peuvent limiter la reproduction exacte des résultats.