Un planificateur aide les agents de navigation à mobiliser leurs compétences web
Back to Basics: A Skill-Centric Approach to Generalist Web Agents · arXiv:2610.35823
En termes simples
Un agent de navigation doit accomplir toutes sortes d’actions sur des sites web, et une tâche peut échouer si une seule étape tourne mal. Cet article présente MiniWeb, un ensemble de sites et de tâches qui permet aux chercheurs de vérifier quelles interactions les agents savent réaliser.
Les auteurs ont entraîné un petit modèle ouvert à effectuer des interactions individuelles, puis l’ont associé à un planificateur qui découpe les demandes plus complexes en étapes. L’entraînement seul a amélioré les résultats sur les interactions individuelles, mais a presque rien changé pour les tâches complètes ; le système combiné a mieux réussi les tâches mises de côté. L’étude porte sur un seul modèle et un ensemble limité de sites web.
La recherche
Une tâche web peut dépendre de plusieurs interactions différentes avec un site ; s’entraîner à une seule ne suffit donc pas forcément pour répondre à une demande complète.
La question est de savoir si un agent peut réutiliser cet entraînement pour mieux réussir des tâches qu’il n’a pas rencontrées pendant l’entraînement.
MiniWebAgent associe un planificateur qui découpe les tâches web en étapes à un exécutant entraîné à réaliser des interactions réutilisables.
Les auteurs ont d’abord entraîné un agent Qwen3.5-4B seul sur des exemples d’interactions individuelles. Celui-ci a progressé sur des tâches générées portant sur une seule interaction, mais a à peine amélioré son taux de réussite sur un autre ensemble de tâches rédigées par des humains et issues de sites mis de côté.
Les chercheurs ont ensuite associé un exécutant entraîné à un planificateur non entraîné qui découpe les demandes en étapes.
Sur 62 tâches mises de côté, cet agent combiné en a réussi 58.1%, contre 38.7% pour l’agent unique non entraîné ; chaque chiffre est une moyenne de trois essais.
Ces résultats étayent l’idée que la planification peut aider à appliquer des interactions entraînées à des tâches plus longues, mais la comparaison ne permet pas d’isoler les contributions du planificateur et de l’exécutant.
Ces résultats proviennent d’un seul modèle compact à poids ouverts et d’un ensemble limité de sites web et de tâches. MiniWebAgent associe un planificateur non entraîné à un exécutant entraîné ; la comparaison ne permet donc pas de déterminer quelle part du gain revient à chacun.
Ce que montrent les preuves
- Rendre les interactions mesurables
MiniWeb est un benchmark conçu pour évaluer des agents de navigation sur des tâches web. Il comprend 369 tâches rédigées par des humains, construites à partir de 37 interactions réutilisables, ou primitives, réparties en sept familles de compétences.
Chaque tâche indique les interactions qu’elle requiert. Le benchmark peut ainsi montrer si la tâche entière a réussi et quelles interactions qui la composent ont été réalisées.
- Repérer un point faible commun
Cette analyse a révélé une faiblesse constante chez les dix agents à poids ouverts non entraînés qui ont été testés : pour chacun, les actions de glisser-déposer et les gestes formaient la famille la plus faible. Tous agents confondus, 12.4% de ces cas d’interaction ont été validés, contre 38.0% pour la famille suivante la plus faible, les entrées et sorties hors de la page.
Ces chiffres cumulés montrent une lacune dans le groupe testé, pas une faiblesse universelle des agents de navigation.
- L’entraînement seul ne suffit pas
MiniWebGen crée de courts exemples d’entraînement pour des interactions individuelles et ne les conserve que lorsqu’une vérification côté serveur confirme le résultat attendu. Après entraînement de Qwen3.5-4B sur ces exemples, le taux de réussite a progressé de 55.3% à 80.3% sur 103 tâches générées portant chacune sur une seule interaction.
En revanche, sur un autre ensemble de 62 tâches rédigées par des humains à partir de sites mis de côté, l’agent entraîné a réussi 39.2% des tâches, presque autant que le modèle non entraîné, à 38.7%.
- Ajouter un planificateur à l’exécutant
MiniWebAgent associe un planificateur non entraîné, qui découpe une demande en étapes, à un exécutant entraîné sur des exemples MiniWebGen. Sur les 62 tâches rédigées par des humains et mises de côté, il en a réussi 58.1%, contre 38.7% pour l’agent unique non entraîné ; les deux chiffres sont des moyennes de trois essais.
Le système combiné a donc mieux réussi ces tâches, mais les résultats n’attribuent pas l’intégralité de l’écart à l’un ou l’autre composant.
- Comparer les données d’entraînement
Les chercheurs ont aussi comparé l’exécutant entraîné sur les compétences à un autre entraîné sur un ensemble de trajectoires de tâches complètes de taille similaire, avec la même configuration planificateur-exécutant et la même méthode d’entraînement.
La version entraînée sur les compétences a obtenu de meilleurs scores aux quatre évaluations, mais seule son avance sur Online-Mind2Web restait statistiquement significative après correction pour tenir compte des comparaisons multiples.
Ce résultat étaye l’entraînement axé sur les compétences dans la configuration testée, sans établir la solidité de l’avantage sur les autres tests.
Détails
- Auteurs de l’article original
- Minh Pham-Dinh, Md Farhan Ishmam, Hernan Yupanqui, Reaz Hassan Joarder, Kenneth Marino
- Soumis à arXiv
- Licence
- CC BY-SA 4.0