Les agents peuvent améliorer le code de recherche, mais de nombreuses tâches ont laissé tous les agents sans solution

Un agent fondé sur un modèle de langage peut-il améliorer un système informatique publié dans son propre dépôt de code et satisfaire les critères de l’implémentation diffusée par ses auteurs ?

Les tests de programmation ouverts décrits par les auteurs évaluent un programme unique à la fin d’une exécution ; ils ne répondaient pas à cette question sur le code de recherche.

FrontierCS 2 teste des agents dans des dépôts de code de recherche et évalue les modifications finales choisies face aux implémentations publiées, sur des tâches finales privées.

FrontierCS 2 crée des tâches à partir de dépôts de recherche : les auteurs retirent la contribution de chaque article et conservent le code retiré comme référence. Les agents soumettent des modifications et reçoivent des retours sur une suite de développement, mais l’évaluateur vérifie en privé la modification finale choisie, en la comparant à cette référence sur les tâches finales. Une exécution ne réussit que si chaque mesure atteint son seuil pour chaque tâche.

Sur 48 tâches, le meilleur des 12 agents associant un modèle à un environnement d’exécution a réussi 58 % de ses exécutions ; aucun agent n’a réussi la moindre exécution sur 16 tâches. Ces résultats montrent que certains agents peuvent satisfaire ce critère exigeant sur une partie des tâches, tout en révélant de nombreuses tâches où aucun n’y est parvenu.

Un meilleur score combiné ne suffisait souvent pas à atteindre tous les seuils requis : le score et le résultat de réussite mesurent donc des aspects différents.

Ces résultats portent sur une seule exécution de chaque agent pour chacune des 48 tâches rapportées. FrontierCS 2 comporte aussi un ensemble privé distinct de plus de 100 tâches, qui n’a pas été évalué dans ce rapport.