FR
Le code exécutable peut préserver les détails des légendes vidéo
CodeCap-Bench: Can Code Serve as a Good Video Caption? · arXiv:2610.37341
En termes simples
Une légende vidéo décrit habituellement ce qui se passe avec des mots. Cet article demande si du code peut aussi représenter des détails comme l’emplacement des objets, leurs mouvements et le moment où ils changent.
Les auteurs ont créé CodeCap-Bench, un ensemble de vidéos 2D structurées pour tester cette idée. Les modèles écrivent du code, qui est ensuite transformé en vidéo et comparé à l’original. Lors d’un test sur 100 vidéos sélectionnées, un modèle chargé de répondre à des questions a obtenu de meilleurs résultats avec les vidéos produites à partir de légendes en code qu’avec celles produites à partir de légendes en langage naturel.
La recherche
Une légende peut-elle conserver l’emplacement des objets, leurs mouvements et leurs changements coordonnés sans recourir à un texte long ou potentiellement ambigu ?
L’article examine si du code exécutable peut exprimer ces détails sous une forme qui peut être rendue puis comparée à la vidéo originale.
Les auteurs présentent CodeCap-Bench, un ensemble de tests qui compare des vidéos rendues depuis des légendes en code à des vidéos 2D structurées de référence.
Les auteurs comparent les légendes en code aux légendes en langage naturel pour déterminer si le code peut conserver des informations vidéo utiles par la suite. Sur 100 vidéos sélectionnées et accompagnées de questions annotées, ils ont évalué les réponses de Gemini-3.8-flash à partir de vidéos rendues depuis les légendes en code d’Opus-5, de ses légendes textuelles et des vidéos originales. L’exactitude est la part des réponses correspondant aux réponses fournies.
Les vidéos rendues depuis le code ont donné une exactitude de 83.02 %, contre 72.64 % avec les légendes textuelles et 83.96 % avec les vidéos originales.
Dans une comparaison distincte de reconstruction, le rendu du code a aussi obtenu de meilleurs scores pour l’apparence, les mouvements et la structure des images clés. Ensemble, ces résultats appuient l’interprétation des auteurs selon laquelle le code peut conserver des informations visuelles utiles dans les configurations testées.
Ces résultats portent sur une sélection de vidéos 2D structurées et sur les protocoles d’évaluation décrits. Le benchmark exclut les vidéos dominées par des points de vue 3D complexes, des textures détaillées ou des mouvements denses au niveau des pixels.
Les résultats ne permettent donc pas d’établir les performances des légendes en code pour ces types de vidéos.
Ce que montrent les preuves
- Pourquoi tester les légendes en code
CodeCap-Bench est un ensemble de tests qui évalue si des modèles de langage multimodaux peuvent décrire des vidéos 2D structurées avec du code exécutable. L’article examine une difficulté précise : décrire avec des mots la disposition des éléments, leurs mouvements et leurs changements coordonnés peut nécessiter un texte long et potentiellement ambigu.
Dans le test, un modèle écrit du code qui précise les éléments visuels et leur évolution ; un moteur de rendu transforme le code en vidéo pour la comparer à la référence.
- Ce que signifie la fidélité
Le benchmark évalue davantage que la simple exécution du code. Il compare la vidéo rendue à sa référence selon la similarité visuelle globale, l’emplacement et le minutage des objets, et la conservation des détails annotés. Cette distinction compte, car une vidéo peut être produite correctement tout en omettant ou en déformant ce que montre la référence.
Des annotations vérifiées par des humains indiquent les points focaux et les objets ; elles permettent de comparer le contenu statique comme les changements au fil du temps.
- Le mouvement reste plus difficile
Les mesures font ressortir une difficulté précise : dans les configurations évaluées, les détails dynamiques obtiennent des scores inférieurs aux détails statiques. Avec GPT-6-astra et Codex en mode de raisonnement moyen, la conservation moyenne était de 68.61 sur 100 pour les détails dynamiques et de 80.72 pour les détails statiques.
Cette comparaison garde le modèle et le harnais constants tout en opposant les deux types de points focaux. Elle illustre la difficulté à représenter les dynamiques temporelles, sans suggérer que tous les modèles obtiennent les mêmes scores.
- Les questions testent les détails conservés
Les auteurs ont testé si les légendes en code conservaient des informations utiles pour répondre à des questions. Sur 100 vidéos sélectionnées et accompagnées de questions annotées, Gemini-3.8-flash a obtenu une exactitude de 83.02 % avec des vidéos rendues depuis les légendes en code d’Opus-5, contre 72.64 % avec les légendes en langage naturel d’Opus-5.
L’exactitude est la part des réponses correspondant aux réponses fournies. Le modèle de réponse aux questions a atteint 83.96 % à partir des vidéos originales, ce qui donne un point de comparaison pour le même modèle.
- La reconstruction apporte un autre indice
Une comparaison distincte de reconstruction a mesuré l’apparence, les motifs de mouvement et la structure des images clés. Pour Opus-5, le rendu direct des légendes en code a obtenu des scores supérieurs dans les trois mesures aux vidéos générées avec Seedance-2.5 à partir de ses légendes en langage naturel.
Cette comparaison appuie l’interprétation des auteurs selon laquelle le code exécutable peut conserver des informations visuelles utiles dans les configurations testées. Comme les deux types de légendes ont été convertis en vidéo par des procédés différents, elle n’établit pas un avantage universel des légendes en code.
Détails
- Auteurs de l’article original
- Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo
- Soumis à arXiv
- Licence
- CC BY 4.0