Un filtre vérifie la mémoire avant une action lourde de conséquences
En termes simples
Un agent doté d’une mémoire à long terme peut s’appuyer sur un fait ancien pour agir. Ce même fait peut convenir à une tâche ordinaire, mais devenir risqué si une erreur coûte cher.
L’article présente AMV-Guard, un filtre qui vérifie les faits à l’appui d’une action proposée et décide s’il faut agir, vérifier, refuser ou demander à l’agent de revoir son plan. Dans des épisodes simulés d’utilisation d’outils, le système a demandé moins de vérifications qu’une version qui ne les adaptait pas aux nouvelles observations.
Les deux versions ont enregistré zéro exécution préjudiciable parmi les cas que le filtre pouvait évaluer. Ces résultats concernent les tests simulés.
La recherche
Quand un agent peut-il suffisamment faire confiance à un fait mémorisé pour agir ? L’ancienneté ou le degré de confiance associé à une mémoire ne suffisent pas à répondre : un même fait peut convenir à une action ordinaire et nécessiter une vérification si une erreur aurait des conséquences plus graves. L’article cherche à déterminer quand vérifier, agir ou s’abstenir.
AMV-Guard vérifie les affirmations mémorisées qui sous-tendent une action proposée lorsqu’une vérification peut changer la décision de l’agent : agir, s’abstenir ou revoir son plan.
AMV-Guard vérifie les affirmations qui justifient les actions proposées lorsqu’une vérification peut changer la décision de l’agent : agir, s’abstenir ou revoir son plan.
Dans ToolSandbox, un test simulé où des agents utilisent des outils pour accomplir des tâches et où un évaluateur note les résultats, le système a été comparé à AMV-Static, qui n’adaptait pas ses vérifications aux nouvelles observations.
Sur trois graines d’observation, AMV-Guard a réduit le coût moyen de vérification par épisode de 1,843 à 1,219. Les deux systèmes ont enregistré zéro exécution préjudiciable parmi les cas que le filtre pouvait évaluer.
Ils ont également exécuté chaque action candidate initiale jugée sûre selon la vérité de référence parmi ces cas pendant l’épisode initial du filtre, parfois après vérification et avant une nouvelle planification. Le taux brut de préjudices de bout en bout d’AMV-Guard était légèrement supérieur.
La comparaison étaye une baisse des coûts dans ce protocole, et non de meilleurs résultats pour toutes les mesures.
Ces tests utilisent des environnements simulés et ne couvrent que les conséquences évaluées par leurs évaluateurs. Le test sur AppWorld transpose le noyau décisionnel, et non l’ensemble du processus d’extraction et de vérification des prémisses d’AMV-Guard.
Analyse
Détails
- Auteurs de l’article original
- Yiqi Wang, Yifei Wang, Jiaqi Zhang, Zhangkai Wu, Yiqun Duan
- Soumis à arXiv
- Licence
- arXiv non-exclusive