El entrenamiento con contexto largo mejora algunas puntuaciones de programación
En palabras sencillas
Los modelos que resuelven tareas de programación con herramientas necesitan manejar repositorios completos e interacciones con esas herramientas. El artículo presenta una etapa de entrenamiento entre el entrenamiento inicial del modelo y el entrenamiento posterior con ejemplos de respuestas deseadas.
En esa etapa, el modelo recibe documentos extensos de software y algunos registros de interacciones con agentes. Después de recibir el mismo entrenamiento posterior, los modelos Nemotron probados mejoraron en algunas pruebas de programación, incluida una mejora clara en una prueba de tareas largas para el modelo mayor.
Los resultados variaron según la prueba, así que no se ha demostrado que la receta ayude en todas las puntuaciones ni en todas las familias de modelos.
La investigación
¿Cómo puede un modelo de programación encontrarse con repositorios completos e interacciones con herramientas antes del entrenamiento posterior, si el entrenamiento inicial suele usar contextos más cortos y gran parte del entrenamiento supervisado posterior se basa en datos sintéticos?
El artículo prueba si una etapa separada con contextos largos puede ayudar a preparar modelos base para programar con agentes, sin depender de indicadores indirectos del modelo base para predecir su rendimiento posterior.
La receta entrena modelos base con datos extensos de ingeniería de software y algunas trazas de agentes antes del entrenamiento posterior, y luego evalúa la programación tras el mismo SFT.
Los autores entrenan modelos base con cientos de miles de millones de tokens y contextos largos, principalmente con datos naturales de ingeniería de software y una proporción menor de trazas de agentes. Comparan los modelos con entrenamiento intermedio con sus checkpoints iniciales después de aplicarles el mismo SFT completo, y miden el éxito en tareas de programación.
En Lightning-LC, 500 mil millones de tokens de entrenamiento intermedio elevan Pass@1 —la tasa media de éxito entre las ejecuciones muestreadas para cada tarea— en SWE-bench Verified del 60.7% al 64.5%; en Super, 280 mil millones de tokens la elevan en DeepSWE del 11.7% al 15.7%.
Estos resultados muestran mejoras concretas tras el SFT, aunque las puntuaciones de Super en Multilingual y Pro no muestran una mejora consistente.
Las comparaciones entre benchmarks corresponden a una sola ejecución, y los autores señalan que las diferencias de uno o dos puntos podrían deberse a la variación entre ejecuciones. La receta se probó con modelos Nemotron, principalmente para programación con agentes, y con una combinación de SFT centrada en agentes.
La breve evaluación de aprendizaje por refuerzo, realizada con una sola semilla, no demuestra que el entrenamiento intermedio aumente lo que puede aportar el aprendizaje por refuerzo.
Análisis
Detalles
- Autores del paper original
- Soumye Singhal, Joseph Jennings, Ka Shun Shum, Alexander Bukharin, Khushi Bhardwaj
- Enviado a arXiv
- Licencia
- arXiv non-exclusive