MagicBeanStalk crea problemas de entrenamiento desde semillas difíciles
En palabras sencillas
El artículo presenta MagicBeanStalk, un método para crear nuevos problemas de entrenamiento a partir de preguntas matemáticas difíciles. Divide una pregunta en pasos más sencillos, comprueba si esos pasos ayudan con la pregunta original y luego combina nuevas versiones de esos pasos para crear preguntas más difíciles.
Los autores encontraron que muchos problemas de una gran colección matemática no ofrecían a un modelo una comparación entre respuestas correctas e incorrectas. En las pruebas, entrenar con los problemas de MagicBeanStalk mejoró la exactitud media de ese modelo en ocho pruebas de matemáticas, con un límite de 16.000 tokens por respuesta.
La investigación
Cuando un modelo acierta todas las respuestas generadas para una pregunta, o falla todas, esas respuestas no ofrecen una comparación que permita aprender de esa pregunta.
El artículo pregunta si las preguntas difíciles aún pueden ayudar al revelar pasos de razonamiento que se conviertan en nuevos problemas de entrenamiento más útiles.
MagicBeanStalk convierte problemas difíciles en nuevas preguntas de entrenamiento calibradas para el modelo al reconstruir sus pasos de razonamiento verificados.
Los autores preguntan si un problema difícil puede orientar la creación de otro que dé al modelo información útil para aprender.
En una prueba con 98 semillas matemáticas, un ejemplo verificado de un subproblema más sencillo, basado en el esquema de razonamiento, ayudó al modelo objetivo a resolver algunos problemas originales.
MBS aplica esa idea de forma recursiva y luego filtra los candidatos con el modelo objetivo. Después del entrenamiento continuo, la exactitud pass@1 media de gpt-oss-120b en ocho pruebas matemáticas subió de 61,2 a 69,8; el entrenamiento con la mezcla completa de datos de origen llegó a 62,3.
Estos resultados corresponden a determinados modelos, conjuntos de problemas y límites de respuesta. Los datos generados y los modelos usados para auditarlos pueden contener errores; las evaluaciones financieras no establecen que estos datos de entrenamiento sean fiables para tomar decisiones financieras.
Algunos modelos docentes son API propietarias, por lo que sus cambios pueden limitar la reproducción exacta.
Análisis
Detalles
- Autores del paper original
- Ximing Lu, Aviral Kumar, Jan Kautz, Yejin Choi, David Acuna
- Enviado a arXiv
- Licencia
- arXiv non-exclusive