FR
Un nouveau test révèle les limites des agents vidéo
VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation · arXiv:2610.35864
En termes simples
L’article présente VibeVideoBench, un test d’agents qui utilisent du code pour créer des vidéos complètes à partir de consignes et de ressources facultatives. Il vérifie si la vidéo a bien été livrée, si elle montre les éléments demandés et comment des jurys évaluent l’image, le récit, le minutage et le son.
Neuf systèmes d’agents ont tenté les tâches avec une limite d’une heure. Pour 76,3 % des tâches, Claude Opus 5.5 n’a échoué à aucun contrôle essentiel et en a réussi au moins un ; une vidéo manquante comptait comme un échec. Ce résultat ne concerne que ces systèmes, ces tâches et ce délai.
La recherche
Des agents généralistes peuvent-ils créer des vidéos complètes où les détails demandés, le son et le minutage s’accordent ? Les tests existants ne répondent pas à cette question : ils évaluent du texte ou des résultats fonctionnels, tandis qu’une vidéo doit être jugée comme un résultat perceptible.
VibeVideoBench évalue les agents vidéo pilotés par du code à l’aide de contrôles propres aux tâches et de jugements de qualité, en comptant la livraison dans la réussite.
Les auteurs ont fait exécuter à neuf systèmes d’agents complets les mêmes 239 tâches, chacun de façon autonome dans son environnement d’origine et avec une limite d’une heure.
Claude Opus 5.5 a obtenu la meilleure réussite stricte : pour 76,3 % des tâches, aucun contrôle essentiel n’a échoué et au moins un a réussi ; une vidéo manquante comptait comme un échec.
La façon de noter les vidéos manquantes change aussi les comparaisons. Lorsqu’elles recevaient un zéro au lieu d’être exclues, Gemini 4 Argon passait de la quatrième à la septième place parmi les neuf systèmes.
Les seuls scores de qualité des vidéos livrées peuvent donc masquer l’incapacité d’un système à terminer certaines tâches.
Ces résultats proviennent de neuf systèmes d’agents complets, exécutés de façon autonome dans leur environnement d’origine et limités à une heure. La comparaison ne permet pas de distinguer les effets du modèle de ceux de son environnement d’exécution.
Un nouvel essai à petite échelle a montré qu’un système livrait davantage de vidéos sur 20 tâches avec plus de temps. Les juges n’ont toutefois pas repéré des retards audio ajoutés artificiellement. Ces constats n’établissent donc ni les performances avec des délais plus longs ni la fiabilité des juges pour évaluer chaque vidéo.
Ce que montrent les preuves
- La question du test
VibeVideoBench évalue des agents multimodaux généralistes qui utilisent du code pour produire des vidéos complètes à partir de consignes et de ressources facultatives. La question est de savoir s’ils peuvent créer une vidéo finie où le contenu requis, le son et le minutage fonctionnent ensemble, plutôt que de simplement fournir du texte ou un programme fonctionnel.
Les évaluations existantes ne permettaient pas de l’établir : une vidéo est un résultat perceptible qu’un test unitaire ordinaire ne peut pas évaluer entièrement.
- Évaluer les vidéos
Pour rendre les tâches vérifiables, les auteurs ont reformulé des demandes réelles et d’autres documents sources en consignes autonomes. Celles-ci fixent les faits, les identités, les étapes, le minutage et les exigences audio, tout en laissant certains choix créatifs ouverts.
Le test vérifie ensuite la livraison à l’aide de programmes, les éléments requis au moyen de contrôles de réussite ou d’échec propres à chaque tâche, et la qualité selon cinq dimensions évaluées par trois jurys indépendants.
- Résultat principal
Neuf systèmes d’agents issus de six laboratoires ont tenté les 239 tâches. Chacun fonctionnait de façon autonome dans son environnement d’origine, avec le même délai d’une heure et dans des conteneurs identiques.
Claude Opus 5.5 a obtenu la meilleure réussite stricte : pour 76,3 % des tâches, aucun contrôle essentiel n’a échoué et au moins un a réussi ; une vidéo manquante comptait comme un échec. La comparaison porte sur des systèmes complets et ne distingue donc pas les performances des modèles des effets de leur environnement d’exécution.
- Pourquoi la livraison compte
La prise en compte de la livraison modifie le classement des systèmes. Quand les vidéos manquantes reçoivent un zéro au lieu d’être exclues, Gemini 4 Argon passe de la quatrième à la septième place parmi les neuf systèmes.
Sur les 224 exécutions sans vidéo lisible, les auteurs ont attribué 169 cas à des rendus finaux qui ont commencé trop tard, ont progressé trop lentement ou n’ont jamais démarré. Ces constats montrent qu’un score de qualité pour les seules vidéos livrées ne dit pas si un système a terminé la tâche.
- Ce que les données ne tranchent pas
Deux vérifications nuancent les résultats. Les préférences humaines entre vidéos lisibles ont donné des classements de systèmes proches de ceux des juges, mais les juges n’ont pas repéré les retards audio ajoutés artificiellement ; cette concordance ne garantit donc pas une évaluation fiable de chaque vidéo. Lors d’un contrôle distinct sur 20 tâches, GLM-5.3-Flash a livré davantage de vidéos avec des délais plus longs.
Ce résultat concerne ce système et ce petit ensemble de tâches, pas tous les agents ni toutes les tâches.