VideoJev puntúa decisiones sobre videos y reutiliza contexto
En palabras sencillas
VideoJev es una familia de modelos de video que realiza dos tareas: encontrar cuándo ocurre un evento y elegir una respuesta a una pregunta sobre un video. En lugar de escribir marcas de tiempo o una respuesta, puntúa posibles intervalos de tiempo o las opciones disponibles.
También puede reutilizar la información visual ya procesada cuando varias preguntas se refieren al mismo clip. En las pruebas del artículo, las puntuaciones medias de VideoJev fueron más altas que las de los modelos Qwen correspondientes, evaluados en modo de instrucciones, en ambas tareas.
Los promedios abarcan varias pruebas, así que no significan que todas las respuestas hayan mejorado.
La investigación
Cuando se hacen varias preguntas estructuradas sobre un mismo clip, un sistema de video puede tener que ubicar un evento o comparar opciones de respuesta cada vez.
Aún no está claro si puede tomar esas decisiones sin generar texto para cada respuesta y, al mismo tiempo, evitar repetir el procesamiento del mismo contexto visual.
VideoJev puntúa intervalos de tiempo candidatos u opciones de respuesta con un componente compartido y reutiliza el contexto del video entre preguntas relacionadas.
Los investigadores compararon VideoJev-4B y VideoJev-35B-A3B con los modelos Qwen correspondientes, evaluados en modo de instrucciones.
En tres pruebas de ubicación de eventos, las puntuaciones medias de solapamiento entre intervalos fueron 6.7 y 10.8 puntos más altas; en cuatro pruebas de opción múltiple sobre videos, las puntuaciones medias fueron 8.0 y 5.7 puntos más altas.
VideoJev se había entrenado para puntuar directamente intervalos u opciones, mientras que los modelos Qwen generaban resultados.
Los resultados muestran promedios más altos por familia de tareas para los modelos de puntuación directa, aunque la comparación también difiere en la fase de entrenamiento y el método de salida.
Las comparaciones entre modelos base no demuestran que las mejoras se deban únicamente al método de puntuación: el artículo no especifica si cada modelo y su correspondiente comparador Qwen usaron puntos de control idénticos.
En las pruebas de preguntas sobre video evaluadas, las probabilidades de los modelos también tendieron a sobreestimar la corrección de sus respuestas.
Análisis
Detalles
- Autores del paper original
- Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li
- Enviado a arXiv
- Licencia
- CC BY 4.0