Un système de suivi aide les modèles vidéo à conserver l’identité des objets pendant un mélange

Quand un objet est caché parmi des objets qui lui ressemblent, un modèle vidéo peut-il encore dire où se retrouve ce même objet ? Reconnaître un objet dans une image ne garantit pas que le modèle conservera son identité une fois les indices disparus. L’article examine si le repérer plus tôt et le suivre séparément peut aider.

La méthode associe la cible à une trajectoire numérotée quand elle peut être reconnue, puis répond à partir de son état suivi plutôt qu’en relisant la vidéo.

Les auteurs ont testé si séparer la reconnaissance du suivi pouvait aider un modèle à répondre à des questions sur un objet après qu’il a été caché ou déplacé.

Track, Then Bind demande au modèle d’identifier la cible quand elle est reconnaissable, laisse un système de suivi conserver son identité, puis répond à partir de l’état suivi.

Sur des vidéos réelles de jeux de gobelets et des questions de cohérence des objets dans des vidéos réelles, la méthode a obtenu un meilleur score que les réponses directes du même modèle.

La comparaison appuie cette approche sur ces jeux de test, même si les méthodes utilisaient des moteurs d’exécution différents.

Ces résultats proviennent des jeux de questions sur la vidéo évalués dans l’article et d’une seule configuration figée. Pour les comparaisons avec les réponses directes, Track, Then Bind utilise un moteur d’exécution différent ; elles ne permettent donc pas d’isoler la procédure d’inférence de cette différence. Le suivi comporte aussi des erreurs.