Las puntuaciones de video cambian según la configuración; Meta-Video la registra
En palabras sencillas
El artículo presenta Meta-Video, un conjunto compacto de preguntas sobre videos para comparar modelos que trabajan con video y lenguaje. Los autores eliminan las preguntas que varios modelos probados pueden responder aunque el video se sustituya por fotogramas negros, y luego seleccionan preguntas de cinco pruebas existentes.
Meta-Video conserva en gran medida las clasificaciones de los modelos observadas en esas pruebas y requiere una quinta parte del cómputo de inferencia para una evaluación completa desde 4 hasta 128 fotogramas. Este resultado se limita a esa evaluación; el artículo también muestra que las decisiones sobre cómo evaluar pueden cambiar las puntuaciones.
La investigación
Si un mismo modelo obtiene puntuaciones distintas en una misma prueba de video, ¿cómo pueden saber los investigadores si una mejora publicada refleja el modelo o la forma de evaluarlo?
En VideoMME, la precisión publicada para una versión de un modelo abarca un intervalo de 19,5 puntos porcentuales, lo que dificulta distinguir ambas cosas.
Los autores presentan Meta-Video y un protocolo de referencia que registra la configuración de evaluación de videos para que las puntuaciones puedan interpretarse y reproducirse.
Los autores eliminan preguntas que tres modelos pueden responder con fotogramas negros y luego seleccionan 1.000 preguntas de cinco pruebas existentes.
Meta-Video conserva en gran medida las clasificaciones de los modelos en las pruebas de origen y requiere una quinta parte del cómputo de inferencia para una evaluación completa desde 4 hasta 128 fotogramas.
Otras evaluaciones muestran por qué importa la configuración: cambiar el sistema de ejecución o la cantidad de fotogramas puede cambiar las puntuaciones, y la cantidad de fotogramas puede cambiar qué modelo queda por encima.
El protocolo registra la configuración junto con las puntuaciones para que estas comparaciones puedan interpretarse.
Las comparaciones presentadas abarcan cinco modelos abiertos, siete pruebas de origen y Meta-Video, bajo condiciones de evaluación específicas. No demuestran que las mismas clasificaciones o el mismo ahorro de cómputo se mantengan con otros modelos, pruebas o configuraciones.
Análisis
Detalles
- Autores del paper original
- Soumya Shamarao Jahagirdar, Anna Kukleva, Vishaal Udandarao, Samuel Thomas, Brian Kingsbury
- Enviado a arXiv
- Licencia
- CC BY 4.0