Sauron vérifie les preuves avant de juger les tâches agents
En termes simples
Sauron est un logiciel qui vérifie si un agent a bien respecté les étapes d'une rubrique de tâche. Il examine l'état final de la tâche et le journal des actions de l'agent.
Avant de s'appuyer sur une affirmation, il la contrôle par rapport au journal qu'elle cite, puis attribue à chaque élément de la rubrique son propre verdict et son propre reçu de preuve. Sur 100 épisodes simulés d'assistant personnel, Sauron a obtenu un score plus élevé qu'un autre vérificateur par rapport aux jugements humains, les deux utilisant GPT-5.6 Sol. Ce résultat est limité à ces épisodes et à ce modèle.
La recherche
Lorsqu'un agent accomplit une tâche longue, les preuves de ce qui s'est passé peuvent se trouver dans son état final d'environnement ou dans le journal de ses actions, tandis qu'un juge fondé sur une rubrique peut ne voir qu'une affirmation.
Un vérificateur peut-il examiner ces enregistrements avec suffisamment de rigueur pour que ses verdicts suivent les preuves ?
Sauron contrôle les affirmations par rapport aux preuves citées dans l'état et la trace, puis n'accepte les verdicts de rubrique que lorsque des affirmations vérifiées les soutiennent.
Pour tester si les jugements de rubrique peuvent rester ancrés dans les preuves lorsque celles-ci sont dispersées dans la réponse, l'état final et le journal d'actions d'un agent, les auteurs ont évalué Sauron sur des tâches d'assistant personnel.
Dans quelle mesure la vérification des preuves citées se traduit-elle par des jugements concordant avec les étiquettes humaines ?
Sur 100 épisodes simulés, Sauron a obtenu un score plus élevé que Gandalf par rapport aux jugements humains avec GPT-5.6 Sol : 0,96 contre 0,92 de F1, une mesure combinant précision et rappel agrégée sur 2 586 critères. Les deux systèmes ont jugé les mêmes trajectoires avec le même modèle, mais leurs procédures et leur accès à la trace différaient. Le résultat soutient l'approche globale de Sauron, et non l'accès à la trace seul.
La vérification des preuves ne tranche pas tous les désaccords sur le sens d'un critère de rubrique : dans un examen manuel de 65 désaccords sur PA100, 48 cas correspondaient à Sauron interprétant les critères de manière plus stricte que les annotateurs.
L'évaluation ne teste pas non plus des agents optimisés pour exploiter Sauron comme signal de récompense.
Analyse
Détails
- Auteurs de l’article original
- Reza Sanayei, Razvan-Gabriel Dumitru, Sunjie Hou, MohammadHossein Rezaei, Haris Riaz
- Soumis à arXiv
- Licence
- CC BY 4.0