FR
Des contrôles cachés révèlent les modifications incomplètes de l’infrastructure par les agents de programmation
InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell? · arXiv:2610.36589
En termes simples
L’article présente InfraDev, un jeu de tests destiné aux agents de programmation chargés de reproduire des modifications réelles de l’infrastructure d’IA. Il ajoute des contrôles cachés pour vérifier des exigences que les tests du projet peuvent oublier.
Les descriptions indiquent aux agents le résultat attendu sans leur expliquer comment le produire. Quand les évaluateurs ont ajouté ces contrôles cachés, ils ont rejeté 32 % des soumissions qui avaient réussi tous les tests officiels. Cette proportion ne concerne que les soumissions ayant réussi ces tests officiels.
La recherche
Quand les tests d’une demande de fusion réussissent, cela signifie-t-il que la modification de l’infrastructure d’IA fonctionne vraiment, y compris les gains de vitesse ou de mémoire annoncés ? L’article montre que les tests officiels omettent souvent des exigences numériques ou comportementales importantes. Un correctif qui réussit ces tests peut donc ne pas produire la modification attendue.
InfraDev associe des contrôles cachés supplémentaires à des descriptions de tâches pour évaluer si les agents de programmation réalisent des modifications réelles de l’infrastructure d’IA.
InfraDev associe 36 modifications réelles issues de trois dépôts à des contrôles cachés qui vérifient les exigences oubliées par les tests officiels. Les descriptions de tâches précisent les comportements et les interfaces attendus sans révéler l’implémentation.
Les évaluateurs ont noté les mêmes soumissions avec et sans ces contrôles supplémentaires : les tests cachés ont rejeté 32 % des soumissions ayant réussi tous les tests officiels.
Sur les 36 tâches, GPT-6 Sol est arrivé en tête parmi six agents, avec 38,9 % des tâches résolues selon la mesure des auteurs.
InfraDev couvre 36 modifications sélectionnées manuellement dans trois dépôts, et les résultats des agents se limitent à six systèmes testés. Chaque essai a utilisé un nœud équipé de huit GPU pendant au plus 2,5 heures.
Pour élargir le jeu de tests, des experts du domaine doivent toujours sélectionner les modifications qui conviennent.
Ce que montrent les preuves
- Tester des modifications réelles
InfraDev est un jeu de tests pour les agents de programmation chargés de reproduire des modifications réelles de l’infrastructure d’IA pour l’entraînement, l’inférence et l’apprentissage par renforcement. Il rassemble 36 tâches issues de trois dépôts utilisés en production.
Une tâche est considérée comme résolue lorsque le correctif de l’agent réussit au moins autant de cas de test que la modification achevée par les développeurs. Les auteurs peuvent ainsi comparer l’achèvement des tâches entre agents.
- Des tests réussis peuvent induire en erreur
Les auteurs ont constaté que les tests officiels des demandes de fusion oubliaient souvent des exigences importantes. Pour 13 des 15 modifications liées aux performances, ils ne vérifiaient pas si la modification réduisait effectivement le temps, la mémoire ou les coûts de communication. Un correctif pouvait donc réussir les tests sans produire le comportement annoncé.
- Les contrôles supplémentaires changent la note
InfraDev ajoute des tests cachés, c’est-à-dire des contrôles supplémentaires pour les exigences ignorées par les tests officiels. Pour les concevoir, le processus commence par produire des correctifs incorrects qui réussissent les tests officiels, puis écrit des contrôles qui détectent les exigences manquées.
Lorsque les évaluateurs ont inclus ces contrôles dans la notation, ils ont rejeté 32 % des soumissions ayant réussi tous les tests officiels. Cette comparaison montre pourquoi la réussite aux seuls tests officiels peut donner une image exagérément favorable du travail accompli.
- Les résultats indiquent des pistes d’amélioration
Sur les 36 tâches, GPT-6 Sol a obtenu le meilleur taux de résolution parmi les six agents testés, avec 38,9 %.
Sur les 19 tâches Megatron-LM, GPT-6 Sol et DeepSeek V4 Pro n’ont résolu aucune tâche lorsqu’ils ont reçu les descriptions d’origine des demandes de fusion et que les tests cachés ont été utilisés pour la notation. Dans une comparaison distincte portant sur ces tâches Megatron-LM, le taux de résolution de GPT-5.6 Sol est passé de 42,1 % à 52,6 % après l’ajout d’une compétence réutilisable fondée sur les schémas d’échec observés.
Détails
- Auteurs de l’article original
- Yangshen Deng, Jiaqi Ruan, Yeqi Huang, Nick Lau, Guangming Sheng
- Soumis à arXiv
- Licence
- arXiv non-exclusive