FR
AT-AT améliore les outils partagés à partir des exécutions passées des agents
AT-AT: Automatic Tool Optimization from Agent Traces · arXiv:2610.34679
En termes simples
Les agents utilisent des outils pour trouver des informations et agir, mais les personnes qui entretiennent des outils partagés ne peuvent pas toujours modifier les agents qui s’en servent. AT-AT examine des exécutions passées évaluées et utilise un agent de programmation pour modifier les consignes des outils et, lorsque c’est autorisé, leur code.
Sur des tâches de service client simulées mises de côté pour le test dans Telecom, l’agent par défaut a obtenu une récompense moyenne plus élevée pour l’accomplissement des tâches avec les outils AT-AT qu’avec les outils d’origine.
Ce résultat est une moyenne sur plusieurs tâches et essais répétés ; il ne garantit pas le succès de chaque tâche.
La recherche
Quand de nombreux agents dépendent d’outils partagés, leur fournisseur peut-il améliorer les résultats à partir d’exécutions passées sans modifier les agents ?
La question compte parce que les descriptions orientent le choix des outils et de leurs paramètres, tandis que les implémentations déterminent les informations et les erreurs renvoyées après un appel.
AT-AT s’appuie sur des exécutions d’agents évaluées pour guider des modifications ciblées des descriptions et du code d’outils partagés, dans le but d’améliorer les résultats sans changer les agents.
Les auteurs cherchent à savoir si l’on peut améliorer des outils partagés à partir de l’expérience passée des agents, lorsque leurs fournisseurs ne peuvent pas modifier les agents eux-mêmes.
Les descriptions des outils influencent les appels des agents, tandis que leurs implémentations déterminent les informations et les erreurs qu’ils reçoivent.
AT-AT fournit à un agent de programmation des traces évaluées et le code source des outils afin qu’il repère les échecs récurrents et modifie de façon ciblée les descriptions et, lorsque c’est autorisé, les implémentations.
Pour les tâches simulées de service client mises de côté pour le test dans Telecom, la récompense moyenne attribuée par l’évaluateur pour l’accomplissement des tâches est passée de 29,50 % avec les outils d’origine à 36,75 % avec les outils AT-AT. La comparaison appariée sur plusieurs tâches et essais répétés étaye un gain dans ce cadre.
Le résultat du benchmark repose sur un seul ensemble d’outils optimisé par optimiseur ; il ne montre donc pas comment les résultats varient d’une optimisation à l’autre. L’évaluation en production a porté sur trois serveurs sélectionnés pendant une seule période.
Des évaluations répétées sur différents déploiements et à différents moments sont nécessaires pour établir la robustesse des résultats.
Ce que montrent les preuves
- Améliorer les outils sans changer les agents
AT-AT (Automatic Tool Optimization from Agent Traces) est une méthode qui améliore des outils partagés à partir d’exécutions passées d’agents évaluées, tout en laissant les agents inchangés. Elle répond à une contrainte pratique décrite par les auteurs : les fournisseurs d’outils peuvent entretenir des outils utilisés par de nombreux agents sans pouvoir modifier ces agents.
La description d’un outil influence ce que l’agent appelle et la façon dont il le fait ; son implémentation détermine les informations et les erreurs renvoyées après l’appel.
- Guider les modifications à partir des exécutions passées
La méthode fournit à un agent de programmation des traces évaluées et le code source des outils. L’agent recherche des échecs récurrents, puis apporte des modifications ciblées.
Il peut changer les descriptions et, lorsque c’est autorisé, les implémentations. Cette distinction compte : de meilleures consignes peuvent influencer un appel avant qu’il ait lieu, tandis qu’un changement de code peut modifier les informations renvoyées après l’appel.
Les modifications sont réalisées hors ligne à partir d’exécutions existantes, sans lancer de nouveaux agents pendant l’optimisation.
- Un gain dans les tâches de test Telecom
Le gain mesuré le plus net vient de τ²-bench-verified, un test où des agents accomplissent des tâches simulées de service client. Pour les tâches de test Telecom, la récompense moyenne attribuée par l’évaluateur est passée de 29,50 % avec les outils d’origine à 36,75 % avec les outils AT-AT, sur l’ensemble des tâches et des 30 essais par tâche.
Un test de permutation apparié a conclu que l’écart était statistiquement significatif. Ce résultat étaye un gain moyen dans ce cadre, sans établir qu’il se produit pour chaque tâche ou chaque exécution.
- La comparaison ne permet pas d’isoler l’effet du code
Une version restreinte, qui ne pouvait modifier que les descriptions, a obtenu des résultats nettement inférieurs à ceux d’AT-AT dans Airline et Telecom. Dans Retail, aucune différence significative par rapport aux outils d’origine n’a été observée. Mais la comparaison modifiait deux éléments : l’autorisation de changer le code et la présence des traces dans l’invite utilisateur de l’optimiseur.
Elle ne permet donc pas d’isoler l’effet des modifications d’implémentation. Par ailleurs, un audit par LLM a estimé que les échecs auxquels l’implémentation aurait pu remédier étaient plus fréquents dans Telecom que dans Retail, mais il ne portait que sur un petit échantillon.
- Des résultats différents selon les serveurs en production
Le test en production portait sur un autre cadre : trois serveurs de Netflix, où AT-AT modifiait les descriptions à partir de traces de tâches antérieures. Le taux de réussite des tâches de test a augmenté sur le serveur Engineering Context, est resté identique sur Dev Tools et nul sur Collab Toolbox.
Les erreurs d’outils et/ou les coûts de session ont diminué sur les trois serveurs, mais les scores de contenu ont aussi baissé sur deux d’entre eux. Les résultats montrent que les effets varient selon le serveur et la mesure ; le taux de réussite n’a pas augmenté partout.
Détails
- Auteurs de l’article original
- Maya Ravichandran, Pragya Tripathi, Dharamendra Kumar, Adith Swaminathan, Nathan Kallus
- Soumis à arXiv
- Licence
- CC BY 4.0