Le choix de l’agent modifie les résultats des modèles légers de programmation
Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents · arXiv:2610.32131
En termes simples
Un modèle de programmation peut travailler avec différents agents logiciels. Chaque agent, appelé harness, lui fournit des informations sur le dépôt de code et des outils, puis exécute et vérifie les modifications proposées.
Les auteurs ont testé six agents avec trois modèles légers sur les mêmes tâches de programmation. Pour un même modèle, la part des tâches résolues variait jusqu’à 44 points de pourcentage selon l’agent. Ce résultat concerne les associations et les tâches évaluées dans l’étude.
La recherche
Quand un modèle de programmation obtient de mauvais résultats, le problème vient-il du modèle lui-même, ou un autre agent logiciel pourrait-il changer ce qu’il accomplit ?
Les évaluations antérieures testaient souvent des associations fixes entre modèle et agent, ce qui laissait peu d’éléments pour savoir comment le choix de l’agent influençait, pour un même modèle, les tâches résolues, les échecs et le coût en jetons.
Les auteurs évaluent toutes les associations entre six agents logiciels et trois modèles légers sur les mêmes tâches de programmation afin de mesurer comment l’agent modifie les résultats de chaque modèle.
SWE-bench Verified évalue si des agents logiciels résolvent des tâches de programmation dans des dépôts de code ; les notes indiquent si les tâches ont été résolues. Les auteurs ont associé six agents open source à trois modèles légers de programmation.
Chaque association a tenté les mêmes 100 tâches dans des conditions communes de mise à disposition, de comptabilisation des jetons et de notation.
Pour un même modèle, les taux de résolution variaient jusqu’à 44 points de pourcentage selon l’agent, tandis que le classement des agents changeait selon le modèle.
Comme la comparaison au sein de chaque modèle portait sur le même ensemble de tâches, les résultats montrent que le choix de l’agent a modifié les performances mesurées dans cette évaluation.
Ces résultats portent sur trois modèles légers de programmation, six agents logiciels open source et les 100 tâches SWE-bench Verified évaluées dans les mêmes conditions par l’étude. Ils ne permettent pas d’établir les performances d’autres associations ou d’autres ensembles de tâches.
Ce que montrent les preuves
- Ce que mesure la comparaison
Cet article évalue empiriquement des associations entre agents et modèles légers de programmation. Un agent, ou harness, gère pour le modèle le contexte du dépôt de code, l’accès aux outils, l’exécution, la validation et l’envoi des modifications.
La question est de savoir si le choix de l’agent modifie les résultats du même modèle. SWE-bench Verified évalue si des agents logiciels résolvent des tâches de programmation dans des dépôts ; ses notes indiquent si chaque tâche a été résolue.
- Les mêmes tâches pour tous
Les auteurs ont associé six agents open source à trois modèles légers. Les 18 associations ont toutes tenté les mêmes 100 tâches SWE-bench Verified, soit 1 800 exécutions évaluées dans des conditions communes de mise à disposition, de comptabilisation des jetons et de notation.
Comparer les agents pour un même modèle sur les mêmes tâches rend visible le rôle du choix de l’agent dans cette évaluation.
- Les résultats varient selon l’association
Pour un même modèle, les taux de résolution variaient jusqu’à 44 points de pourcentage selon l’agent, et le classement des agents changeait selon le modèle. Cela signifie que, dans cette étude, le taux de résolution mesuré pour un modèle dépendait de l’agent ; cela ne signifie pas que chaque agent changeait de rang pour chaque modèle. Les auteurs considèrent donc le choix du modèle et de l’agent comme une décision conjointe.
- Les échecs varient aussi
Les auteurs ont aussi classé 1 100 exécutions infructueuses selon cinq mécanismes comportementaux d’échec, au moyen d’une classification fondée sur des observations. Les types d’échec variaient selon les associations : le taux de résolution n’était donc pas le seul indicateur à changer. Les éléments rapportés ne précisent ni le nom des catégories ni leur fréquence respective.
- L’efficacité dépend de l’association
Parmi les associations utilisant des agents à boucle dirigée par le modèle, le nombre de jetons facturés par tâche résolue variait de plus d’un facteur 20.
Cet indicateur rapporte les jetons facturés aux tâches résolues, et la variation concerne le sous-ensemble d’agents indiqué. Ensemble, les résultats appuient la comparaison des associations selon le taux de résolution, les types d’échec et l’usage des jetons, pour les modèles et les tâches évalués.
Détails
- Auteurs de l’article original
- Lu Zhao, Christopher M. Poskitt, David Lo
- Soumis à arXiv
- Licence
- arXiv non-exclusive