VideoJev évalue directement les décisions vidéo et réutilise le contexte
En termes simples
VideoJev est une famille de modèles vidéo conçus pour deux tâches : trouver à quel moment un événement se produit dans une vidéo, et choisir la bonne réponse à une question portant sur cette vidéo. Plutôt que d'écrire des horodatages ou une réponse en texte libre, il attribue un score à des intervalles de temps ou à des choix de réponses possibles.
Il peut également réutiliser les informations visuelles déjà traitées lorsque plusieurs questions concernent le même extrait. Dans les tests présentés dans l'article, les scores moyens de VideoJev étaient plus élevés que ceux des modèles d'instruction Qwen correspondants sur les deux tâches. Ces moyennes couvrent plusieurs tests ; elles ne signifient pas que chaque réponse individuelle s'est améliorée.
La recherche
Lorsqu'un système vidéo reçoit plusieurs questions structurées sur un même clip, il peut devoir localiser un événement ou comparer des choix de réponses à chaque fois.
La question de savoir si ces décisions peuvent être prises sans générer du texte pour chaque réponse, tout en évitant un traitement répété du même contexte visuel, reste ouverte.
VideoJev évalue des intervalles temporels candidats ou des choix de réponses avec un seul composant de scoring partagé et réutilise le contexte vidéo pour les questions liées.
Les chercheurs ont comparé VideoJev-4B et VideoJev-35B-A3B avec leurs modèles Qwen correspondants évalués en mode instruction.
Sur trois tests de localisation d'événements, les scores moyens de chevauchement d'intervalles étaient supérieurs de 6,7 et 10,8 points ; sur quatre tests de questions vidéo à choix multiple, les scores moyens étaient supérieurs de 8,0 et 5,7 points.
VideoJev avait été entraîné à évaluer directement des intervalles ou des choix, tandis que les modèles Qwen généraient leurs sorties sous forme de texte.
Les résultats montrent des moyennes par famille de tâches plus élevées pour les modèles à scoring direct, bien que la comparaison diffère également par la phase d'entraînement et le mécanisme de sortie.
Les comparaisons avec les modèles de base ne permettent pas d'affirmer que le seul mécanisme de sortie est à l'origine des gains : l'article ne précise pas si chaque modèle et son équivalent Qwen utilisaient des points de contrôle identiques.
Sur les tests de questions vidéo évalués, les probabilités données par les modèles tendaient par ailleurs à surestimer leur taux de bonne réponse.
Analyse
Détails
- Auteurs de l’article original
- Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li
- Soumis à arXiv
- Licence
- CC BY 4.0