FR
Un agent vidéo suit l’évolution des objectifs pour choisir quand aider
StreamVibe: Proactive Video Agents for Evolving User Intent · arXiv:2610.34662
En termes simples
Un assistant vidéo peut devoir deviner ce qu’une personne veut sans qu’elle le dise, puis suivre la situation si la tâche change. L’article présente un ensemble de tests, un modèle vidéo entraîné et un système qui suit les objectifs actifs et l’avancement de la tâche.
Lors des tests, ajouter ce système de suivi au même modèle a réduit les réponses superflues et amélioré la qualité des réponses dans la plupart des cadres, surtout lorsque les objectifs changeaient. Les tests portent sur des tâches vidéo conçues pour l’évaluation ; ils ne montrent pas comment le système se comporterait dans toutes les interactions réelles.
La recherche
Quand une tâche évolue, une demande antérieure peut ne plus appeler la même aide, tandis qu’un nouvel objectif peut demander de l’attention. Un assistant vidéo peut-il adapter ses réponses à la fois à l’intention actuelle de l’utilisateur et à l’avancement de la tâche ?
L’article associe un modèle vidéo qui décide quand aider à un système de suivi de l’état de la tâche, puis mesure l’effet de ce suivi sur l’aide continue.
Les auteurs présentent StreamVibe-VL, un modèle qui décide quand répondre et formule des réponses, ainsi que StreamVibe-Harness, qui suit les objectifs actifs, l’avancement de la tâche et les réponses précédentes. Ils évaluent le même modèle pendant une interaction vidéo continue, avec et sans le Harness.
L’ajout du Harness a réduit les réponses superflues et amélioré le contenu des réponses dans la plupart des cadres, surtout lorsque les objectifs changeaient. Ces résultats étayent l’idée que suivre l’état de la tâche peut aider à maintenir une assistance au fil d’une vidéo.
Ces résultats proviennent des tâches vidéo et des protocoles d’évaluation testés dans l’article. Les moyennes des évaluations par point et en trajectoire portent sur des groupes de modèles différents.
Les auteurs précisent aussi que leur cadre ne couvre pas toutes les façons dont les besoins des utilisateurs et les conditions de l’environnement peuvent évoluer ensemble au fil d’interactions plus longues.
Ce que montrent les preuves
- Tester l’aide quand la tâche évolue
L’article présente StreamVibe-Bench, un ensemble de tests pour des agents vidéo qui doivent décider quand et comment aider au fil d’une tâche. Il couvre les demandes explicites, les objectifs non formulés qu’il faut déduire et ceux qui changent pendant l’interaction.
L’ensemble comprend 4 100 exemples et 20 546 moments d’aide annotés. Ces annotations permettent aux auteurs d’évaluer à la fois si une réponse arrive au bon moment et si son contenu correspond à la tâche.
- Distinguer l’aide ponctuelle de l’aide continue
Les auteurs évaluent les décisions de deux façons. L’évaluation par point examine des instants précis à partir d’un historique d’interaction fourni, tandis que l’évaluation en trajectoire suit une vidéo entière et utilise l’historique produit par le modèle lui-même.
Parmi les modèles disponibles dans chaque cadre, le Timing F1 moyen est plus faible en trajectoire que par point. Les auteurs y voient un signe que l’interaction continue ajoute une difficulté, même si les deux moyennes portent sur des groupes de modèles différents.
- Suivre les objectifs pendant la vidéo
Pour tenir compte de l’évolution de la tâche, l’article présente StreamVibe-Harness, qui suit les objectifs actifs, l’avancement et les réponses déjà données, puis transmet le contexte pertinent à StreamVibe-VL. Le modèle décide toujours s’il doit répondre et rédige la réponse.
Lors des tests en trajectoire, à stratégie de réponse fixe, l’ajout du Harness a réduit les réponses superflues et amélioré la qualité du contenu dans la plupart des cadres, avec les gains les plus nets lorsque les objectifs changeaient.
- Vérifier les résultats sur d’autres tests
Les auteurs présentent aussi des résultats sur EgoProactive, un test de l’interaction proactive évalué par un score global qui lui est propre, et sur IPIBench, qui mesure notamment le moment des réponses et la compréhension selon son protocole officiel.
StreamVibe-VL obtient des résultats compétitifs sur EgoProactive et des gains réguliers par rapport aux autres modèles évalués sur IPIBench. Ces résultats étendent les éléments de preuve à deux ensembles de tests externes, mais n’établissent pas les performances dans toutes les formes d’interaction continue.
Détails
- Auteurs de l’article original
- Chengzhi Liu, Yuxiang Lai, Yuzhe Yang, Yanqing Liu, Jiheng Hou
- Soumis à arXiv
- Licence
- arXiv non-exclusive