Le midtraining à long contexte améliore certains scores de programmation
En termes simples
Les modèles qui réalisent des tâches de programmation avec des outils doivent pouvoir traiter des dépôts entiers et interagir avec ces outils. L’article propose une étape d’entraînement entre l’entraînement initial du modèle et un entraînement ultérieur sur des exemples associés aux réponses attendues.
Le modèle reçoit de longs documents d’ingénierie logicielle et quelques traces d’interactions avec des agents. Après avoir reçu le même entraînement ultérieur, les modèles Nemotron testés obtiennent de meilleurs résultats à certains tests de programmation, avec une hausse nette à un test de tâches longues pour le plus grand modèle.
Les résultats varient selon le test ; la recette n’est donc pas montrée comme bénéfique pour tous les scores ni pour toutes les familles de modèles.
La recherche
Comment un modèle de programmation peut-il être exposé à des dépôts entiers et à des interactions avec des outils avant le post-entraînement, alors que l’entraînement initial utilise souvent des contextes plus courts et que l’entraînement supervisé ultérieur repose largement sur des données synthétiques ?
L’article teste si une étape distincte à long contexte peut préparer les modèles de base au codage agentique, sans s’appuyer sur des mesures indirectes du modèle de base pour prédire les performances ultérieures.
La recette entraîne les modèles de base sur de longues données d’ingénierie logicielle et quelques traces d’agents avant le post-entraînement, puis évalue leurs résultats en programmation après le même SFT.
Les auteurs entraînent des modèles de base pendant des centaines de milliards de tokens avec un long contexte, principalement sur des données naturelles d’ingénierie logicielle et, dans une moindre mesure, sur des traces d’agents.
Ils comparent les modèles ainsi entraînés à leurs points de départ après le même SFT complet, en mesurant leur réussite aux tâches de programmation.
Pour Lightning-LC, 500 milliards de tokens de midtraining font passer Pass@1, le taux moyen de réussite sur les tentatives échantillonnées pour chaque tâche, de 60,7 % à 64,5 % sur SWE-bench Verified ; pour Super, 280 milliards de tokens le font passer de 11,7 % à 15,7 % sur DeepSWE.
Ces résultats montrent des gains ciblés après le SFT, tandis que les scores Multilingual et Pro de Super ne montrent pas d’amélioration cohérente.
Les comparaisons entre benchmarks reposent sur un seul essai, et les auteurs précisent que des écarts d’un ou deux points peuvent venir des variations entre essais. La recette a été testée sur des modèles Nemotron, principalement pour le codage agentique, avec un mélange de SFT axé sur les agents.
Le bref contrôle d’apprentissage par renforcement, effectué avec une seule graine aléatoire, ne montre pas que le midtraining augmente les gains que cet apprentissage peut apporter.
Analyse
Détails
- Auteurs de l’article original
- Soumye Singhal, Joseph Jennings, Ka Shun Shum, Alexander Bukharin, Khushi Bhardwaj
- Soumis à arXiv
- Licence
- arXiv non-exclusive