FR
Un simulateur évalue les assistants quand leurs conseils changent la suite
InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants · arXiv:2610.33966
En termes simples
Un assistant utile peut devoir adapter ses conseils à mesure qu’une personne agit et découvre de nouvelles choses. Cet article présente un simulateur dans lequel un assistant donne des consignes à une personne simulée, qui agit puis reçoit une nouvelle vue de la scène.
Un jeu de test associé vérifie si les tâches sont réellement terminées dans le simulateur. Parmi les 12 modèles d’assistant évalués, le mieux classé a terminé 41,7 % des 120 tâches ; chacun des autres en a terminé 33,3 % ou moins. Ces résultats proviennent d’un simulateur où une personne simulée applique les consignes.
La recherche
Un assistant peut-il rester utile lorsque ses conseils modifient, tour après tour, ce qu’une personne fait et voit ? Les tests sur vidéos fixes ne peuvent pas répondre à cette question, car les images restent les mêmes après une réponse, tandis que les études avec de vraies personnes sont coûteuses à grande échelle. L’article crée un moyen simulé d’évaluer cette interaction évolutive.
InteractiveWorld simule des actions guidées par des conseils, et InteractiveBench mesure si les assistants peuvent accomplir des tâches à plusieurs tours dans ce monde évolutif.
InteractiveBench évalue la capacité d’un assistant à guider une personne simulée alors que chaque consigne modifie la suite des événements. L’évaluateur a vérifié l’achèvement des tâches à partir de l’état final du simulateur, avec Gemini 3.1 Pro comme agent humain.
Claude Fable 5.1 a terminé 41,7 % des tâches, soit la meilleure moyenne parmi 12 modèles ; chacun des autres en a terminé 33,3 % ou moins.
Pour Fable 5.1, le taux atteignait 85 % pour les tâches de Décision, contre 20 % pour Guidance et 25 % pour Planification, avec 20 tâches dans chaque catégorie. Cet écart montre pourquoi un score général ne suffit pas à rendre compte des performances selon les types de tâches.
Ces résultats décrivent des épisodes simulés où Gemini 3.1 Pro joue le rôle de l’agent humain.
Une comparaison préliminaire avec des participants humains dans le simulateur n’établit pas que leurs performances sont équivalentes et ne montre pas comment les assistants se comportent dans le monde physique.
Ce que montrent les preuves
- Tester une aide qui change la suite des événements
InteractiveBench est un jeu de test destiné aux modèles de langage multimodaux utilisés comme assistants à la première personne dans un environnement simulé. Il évalue la capacité d’un assistant à guider une personne simulée dans des tâches évolutives à plusieurs tours ; une tâche est réussie si tous les objectifs requis sont atteints, selon l’état final du simulateur.
Le benchmark répond ainsi à une limite des tests sur vidéos fixes : la réponse de l’assistant ne peut pas modifier ce que la personne voit ou fait ensuite.
- Les moyennes masquent des écarts
L’évaluateur a testé 12 modèles d’assistant avec Gemini 3.1 Pro comme agent humain simulé fixe. Claude Fable 5.1 a obtenu le taux de réussite moyen le plus élevé : il a terminé 41,7 % de ses 120 tâches ; chacun des autres modèles en a terminé 33,3 % ou moins.
La moyenne variait selon le type de tâche : Fable 5.1 a réussi 85 % des tâches de Décision, mais 20 % des tâches de Guidance et 25 % des tâches de Planification, avec 20 tâches dans chaque catégorie.
- Repérer la première erreur
Pour comprendre les échecs, les chercheurs ont examiné les épisodes valides qui avaient échoué et étiqueté la première erreur jugée déterminante pour chaque échec. Tous modèles confondus, les erreurs de perception visuelle et de mémoire représentaient de 70,4 % à 85,7 % des premières erreurs parmi les épisodes échoués attribuables aux modèles.
Ce dénominateur exclut les tâches réussies ainsi que les défaillances d’infrastructure ou du simulateur : cette fourchette décrit la répartition des erreurs, et non la part de toutes les tâches ayant échoué pour ces raisons.
- Vérifier les tâches et l’effet de la mémoire
Deux vérifications aident à interpréter les résultats. Selon le protocole décrit, le même agent humain simulé a réussi 100 % des tâches avec un assistant Oracle et 0 % sans aide : les tâches pouvaient donc être accomplies avec des conseils, mais cet agent ne les a pas accomplies seul.
Dans une comparaison distincte, l’ajout d’une entrée de mémoire cumulative a augmenté les taux de réussite de 5 à 15 points de pourcentage pour trois modèles sur les tâches de Prévention et de Recherche, mais les effets étaient variables ailleurs.
- La portée des résultats
Les résultats décrivent un simulateur dans lequel un agent humain piloté par un modèle suit les conseils de l’assistant. Les auteurs font aussi état d’une comparaison préliminaire avec des participants humains chargés d’exécuter les consignes dans le simulateur, mais celle-ci utilisait les mêmes tâches et ne constituait pas un test statistique d’équivalence.
Les scores caractérisent donc les interactions simulées évaluées ; ils n’établissent pas les performances des assistants avec de vraies personnes dans des environnements physiques.
Détails
- Auteurs de l’article original
- Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu
- Soumis à arXiv
- Licence
- arXiv non-exclusive