Agent S4 fait évoluer les outils informatiques à partir des tâches
En termes simples
Les agents qui utilisent un ordinateur passent par des outils qui leur permettent de voir ce qui s’y trouve et d’agir. Ces outils sont souvent fixés par des personnes, même si une tâche peut demander une autre façon de travailler.
Agent S4 est une méthode qui permet à un agent logiciel distinct d’améliorer un ensemble réutilisable d’outils et de consignes en étudiant des tentatives. Lors d’un test de tâches sur des logiciels scientifiques, l’ensemble évolué a permis au même modèle de réussir 99 tâches sur 169, contre 93 avec l’ensemble initial.
Cela indique une amélioration modeste dans cette évaluation, sans garantir le même résultat pour d’autres logiciels ou d’autres tâches.
La recherche
Lorsque les outils d’un agent sont fixés à l’avance, ils peuvent ne pas convenir à la tâche, et l’ajout de nouveaux outils demande généralement un travail manuel.
Un agent peut-il améliorer un ensemble réutilisable d’interfaces à partir de ses propres tentatives, tout en gardant fixes le modèle chargé de résoudre les tâches et son cadre d’exécution pendant cette recherche ?
Agent S4 fait évoluer des interfaces et des consignes réutilisables pour utiliser un ordinateur à partir de tentatives, puis choisit un dépôt grâce à des scores obtenus sur des tâches de validation distinctes.
Lors d’un test complet de tâches sur ordinateur, le dispositif évolué a permis de terminer davantage de tâches que le même modèle avec des interfaces fixes. La comparaison faisait aussi varier le cadre d’exécution et l’accès au code ; elle ne permet donc pas d’isoler l’effet du dépôt.
Lors d’un autre test de tâches sur des logiciels scientifiques, le dépôt évolué a réussi 99 tâches sur 169, contre 93 pour le dépôt initial. Comme le modèle et le cadre d’exécution étaient identiques, ce résultat étaye une amélioration liée au dépôt dans ce contexte.
La comparaison sur OSWorld V2 modifie aussi le cadre d’exécution et l’accès à l’exécution du code ; elle ne permet donc pas de déterminer quelle part du gain vient du seul dépôt. Les exemples de tâches retenus illustrent des mécanismes possibles, mais ne constituent pas des comparaisons contrôlées.
Analyse
Détails
- Auteurs de l’article original
- Saaket Agashe, Yuzhe Yang, Gonzalo Gonzalez-Pumariega, Bhuvan Chandra Koduru, Chih-Lun Li
- Soumis à arXiv
- Licence
- CC BY 4.0