La atención bidireccional ayuda a conservar la utilidad de datos audiovisuales compactos
En palabras sencillas
Puede ser difícil reducir un conjunto grande de datos audiovisuales y conservar las relaciones útiles entre lo que muestra un video y lo que se oye. X-AVDD es un método para crear un conjunto pequeño de pares etiquetados, en el que cada tipo de información ayuda a dar forma al otro.
En una prueba, una ConvNet entrenada con sus ejemplos sintéticos acertó más ejemplos de prueba de VGGSound que una entrenada con ejemplos de AVDD, usando 10 ejemplos por clase. El resultado corresponde a ese conjunto de datos y esa configuración, no a todos los modelos o tareas.
La investigación
¿Puede un conjunto pequeño de datos audiovisuales conservar suficiente información para entrenar un clasificador útil y mantener la relación entre sonidos e imágenes? El artículo señala que las exigencias de memoria y la débil alineación entre modalidades dificultan los métodos anteriores, incluido AVDD. Evalúa si moldear pares sintéticos con información de ambas modalidades puede abordar ese problema.
X-AVDD crea datos de entrenamiento audiovisuales compactos emparejando ejemplos en ambas direcciones mediante atención cruzada.
El método se evalúa entrenando clasificadores con sus ejemplos sintéticos y comprobando con qué frecuencia etiquetan correctamente ejemplos de prueba.
En VGGSound, con 10 ejemplos por clase, una ConvNet con fusión mediante un ensamble alcanza una precisión de prueba del 24.0% con datos de X-AVDD, frente al 8.2% con datos de AVDD.
El análisis de centros de características también encuentra centros de clase de audio y visuales más próximos con datos sintéticos de X-AVDD en AVE.
En conjunto, estos resultados respaldan la idea de que el ajuste en ambas direcciones puede preservar información útil en pares dentro de las configuraciones evaluadas.
Estos hallazgos se refieren a la clasificación audiovisual, la tarea usada para evaluar los datos destilados. El artículo no comprueba si el método funciona para localizar eventos a lo largo del tiempo ni para recuperar contenido audiovisual.
Análisis
Detalles
- Licencia
- arXiv non-exclusive