Un rastreador ayuda a modelos de video a conservar la identidad de los objetos al barajar

Cuando un objeto queda oculto entre otros parecidos, ¿puede un modelo de video responder dónde termina ese mismo objeto? La dificultad es que reconocerlo en un fotograma no garantiza que el modelo conserve su identidad cuando desaparecen los indicios. El artículo evalúa si identificarlo antes y seguirlo por separado puede ayudar.

El método vincula el objetivo con una trayectoria numerada cuando puede identificarlo y luego responde a partir del estado rastreado, en lugar de volver a analizar el video.

Los autores evaluaron si separar el reconocimiento del seguimiento podía ayudar a un modelo a responder preguntas sobre un objeto después de que quedara oculto o se moviera.

Track, Then Bind pide al modelo que identifique el objetivo cuando puede reconocerlo, permite que un rastreador conserve esa identidad y luego responde a partir del estado rastreado.

En videos reales de juegos con vasos y en preguntas sobre la consistencia de objetos en videos reales, el método obtuvo puntuaciones más altas que las respuestas directas del mismo modelo.

La comparación respalda el enfoque en esos conjuntos de prueba, aunque los métodos usaron motores de ejecución distintos.

Estos resultados proceden de los conjuntos de preguntas sobre video evaluados en el artículo y de una sola configuración fija.

Las comparaciones con respuestas directas usan un motor de ejecución distinto para Track, Then Bind, por lo que no permiten separar el procedimiento de inferencia de esa diferencia; además, persisten errores del rastreador.