FR
Le modèle peut voir l’échec d’une étape et croire la trace de l’agent
Claim Laundering: When Agent Decision Models Trust Records Over Reality · arXiv:2610.25947
En termes simples
Le modèle qui prend les décisions d’un agent reçoit une trace de ce que l’agent a tenté et une observation de la situation actuelle. Parfois, la trace affirme qu’une étape a réussi alors que l’observation montre le contraire.
L’article présente EviGate, qui vérifie l’état interne du modèle avant de le laisser faire un choix important. Lors des tests, les modèles ont souvent suivi une fausse affirmation de réussite.
Avec EviGate, les agents ont accompli davantage de tâches que sans ce mécanisme dans un simulateur téléphonique textuel, ALFWorld et WebShop, lorsque le mécanisme avait été étalonné avec des exemples du contexte correspondant.
La recherche
Quand la trace d’un agent affirme qu’une étape a réussi alors que l’observation actuelle indique le contraire, à quoi son modèle de décision doit-il se fier ? Un choix final peut transformer une trace erronée en action importante.
L’article examine si les modèles utilisent chacune de ces sources d’information et si leurs indices internes peuvent aider à repérer la contradiction.
EviGate lit un état intermédiaire du modèle et bloque un choix final lorsque cet état n’étaye pas la réussite de l’étape précédente de l’agent.
Les chercheurs ont d’abord fait varier séparément la trace et l’observation dans des cas comparables sur téléphone, ALFWorld et WebShop. Parmi quatre modèles testés dans les trois domaines, les indices présents dans la trace ont eu l’effet moyen le plus important dans chaque configuration modèle-domaine.
De fausses affirmations de réussite ont aussi conduit à des choix importants dans de nombreux cas construits, ce qui montre pourquoi cette contradiction compte. Un décodeur linéaire a pu repérer des indices sur le résultat dans les états intermédiaires ; EviGate utilise donc ce signal pour bloquer les choix finaux qu’il n’étaye pas.
Avec des exemples d’étalonnage issus du contexte correspondant, le mécanisme a augmenté la réussite des tâches par rapport à son absence lors des trois évaluations avec agents. La comparaison avec des blocages aléatoires au même taux suggère que le blocage sélectif a aidé dans le simulateur téléphonique et WebShop ; le résultat dans ALFWorld reste incertain.
Les évaluations avec agents ont délibérément provoqué des échecs silencieux, et l’agent téléphonique a été testé dans un simulateur textuel plutôt que sur un appareil Android en service.
L’étude n’établit ni la fréquence naturelle de ces contradictions ni la possibilité de reproduire ces gains lors d’un usage réel du téléphone ; les résultats de l’ajustement fin ont été obtenus hors ligne.
Ce que montrent les preuves
- Quand les traces se contredisent
EviGate vérifie l’état interne d’un modèle de décision d’agent avant de le laisser faire un choix important. Le problème tient à une contradiction : la trace de l’agent peut signaler qu’une étape a réussi alors que l’observation actuelle montre le contraire.
L’étude demande si les modèles de décision suivent la trace et si un examen de leur état interne peut réduire les erreurs qui en découlent.
- Tester chaque entrée
Pour isoler l’effet de chaque entrée sur une décision, les chercheurs ont construit des versions comparables de décisions dans des tâches sur téléphone, ALFWorld et WebShop. Ils ont gardé le but, la question et le contexte sans rapport avec la décision inchangés, tout en modifiant l’observation ou en ajoutant une trace de l’action tentée ou une affirmation de réussite.
Parmi quatre modèles testés dans les trois domaines, un indice présent dans la trace a eu l’effet moyen le plus important dans les 12 configurations modèle-domaine.
- Les fausses affirmations influencent les choix
Dans les cas construits, la contradiction a entraîné des choix importants : après une étape échouée accompagnée d’une fausse affirmation de réussite, les modèles ont tout de même choisi de s’arrêter, de continuer ou d’acheter dans 53–100 % des cas selon les configurations modèle-domaine testées.
Ce taux a été mesuré hors ligne sur des exemples volontairement variés ; il ne mesure pas la fréquence de ces contradictions lors d’un usage ordinaire.
- Les indices précèdent la décision
Un décodeur linéaire appliqué à un état intermédiaire du modèle a pu distinguer les étapes réussies des étapes échouées, y compris dans les cas sur téléphone où la trace annonçait une réussite. Une analyse couche par couche a repéré les effets des observations dès les couches intermédiaires et une hausse des effets des traces dans les couches suivantes.
Ensemble, ces résultats suggèrent que des indices utiles sur le résultat peuvent être présents dans le modèle sans orienter de manière fiable son choix final.
- Un filtre améliore les résultats
EviGate s’appuie sur ce signal intermédiaire pour bloquer un choix final lorsque la probabilité estimée que l’étape précédente ait réussi est trop faible. Lors des évaluations avec agents, il a augmenté le taux de réussite des tâches par rapport à l’absence de mécanisme dans un simulateur téléphonique textuel, ALFWorld et WebShop.
Il a aussi fait mieux que des blocages aléatoires au même taux dans le simulateur téléphonique et WebShop ; la comparaison dans ALFWorld reste incertaine.
- L’entraînement dépend des domaines couverts
L’entraînement du modèle de décision sur des exemples téléphoniques a réduit les erreurs sur des applications téléphoniques mises de côté, mais le transfert vers ALFWorld et WebShop n’était pas fiable. Un entraînement avec des exemples des trois domaines a amélioré les résultats dans les deux autres ; l’ajout de tous les exemples téléphoniques a préservé l’amélioration sur téléphone.
Ces résultats hors ligne montrent que, dans les données testées, la correction du comportement dépendait de la couverture des domaines.
Détails
- Auteurs de l’article original
- Tina Khezresmaeilzadeh, Seyedarmin Azizi, Erfan Baghaei Potraghloo, Mehdi Kamal, Massoud Pedram
- Soumis à arXiv
- Licence
- CC BY 4.0