Une modification frontend peut réussir tandis que le site se dégrade
En termes simples
Quand un agent de programmation modifie un site, la fonctionnalité demandée peut marcher alors qu’une autre page ou interaction cesse de fonctionner. ProductWebBench est une suite de tests pour les agents qui programment le frontend ; elle vérifie à la fois le travail demandé et le comportement du site déjà établi pendant la tâche.
Dans les tests par étapes, la suite continue de vérifier les exigences déjà satisfaites pendant que l’agent apporte d’autres changements. Parmi les 674 changements qui ont réussi toutes les vérifications du travail demandé, 28.2% ont tout de même échoué à une vérification distincte et prudente.
Cela met en évidence une lacune dans les contrôles d’achèvement, sans prouver que chaque échec a été causé par le changement.
La recherche
Quand un agent modifie une partie d’un site, comment savoir si la fonctionnalité demandée marche toujours et si les pages et interactions déjà établies fonctionnent encore ? Les vérifications du nouveau besoin peuvent ne pas répondre à cette question, car le même changement peut aussi affecter des pages et des parcours partagés.
ProductWebBench est un benchmark qui évalue les agents de programmation frontend en vérifiant les changements demandés ainsi que le comportement du site déjà établi dans le même dépôt.
ProductWebBench évalue les agents de programmation frontend en vérifiant un changement demandé ainsi que le comportement du site établi pendant le développement. Dans les tests par étapes, le dispositif revérifiait les exigences déjà satisfaites après chaque modification ultérieure, puis comparait la réussite du travail demandé à des vérifications distinctes sur l’espace de travail final.
Parmi les 674 exécutions de type Change qui ont réussi toutes les vérifications du travail demandé, 190 (28.2%) ont tout de même échoué à une vérification prudente. Cela montre que réussir la tâche demandée ne garantissait pas la réussite de ces contrôles supplémentaires, même si un échec ne prouve pas à lui seul que le changement en est la cause.
Ces taux décrivent les vérifications figées et les exécutions évaluées. Certains jugements des vérificateurs étaient erronés, et la comparaison avec le dépôt intact s’appuyait sur des captures initiales réalisées dans un autre environnement.
Selon les auteurs, les vérifications de concordance entre environnements apportent des éléments favorables, sans être concluantes.
Analyse
Détails
- Auteurs de l’article original
- Jiajun Wu, Jian Yang, Yaxin Du, Shukai Liu, Linzheng Chai
- Soumis à arXiv
- Licence
- CC BY 4.0