L’attention bidirectionnelle aide les données audio-visuelles compactes à rester utiles
En termes simples
Il est difficile de réduire un grand jeu de données audio-visuelles tout en gardant les liens utiles entre ce que montre une vidéo et ce que contient son audio. X-AVDD crée un petit ensemble d’exemples associés et étiquetés, en utilisant chaque type d’information pour aider à façonner l’autre.
Lors d’un test, un ConvNet entraîné sur ses exemples synthétiques a correctement classé davantage d’exemples de test de VGGSound qu’un modèle entraîné sur les exemples d’AVDD, avec 10 exemples par classe. Ce résultat concerne ce jeu de données et cette configuration, pas tous les modèles ni toutes les tâches.
La recherche
Un petit jeu de données audio-visuelles peut-il conserver assez d’informations pour entraîner un classificateur utile, tout en préservant le lien entre les sons et les images ? L’article présente les besoins en mémoire et le faible alignement entre modalités comme des obstacles rencontrés par des méthodes antérieures, dont AVDD.
Il teste si la création de paires synthétiques guidée par les informations des deux modalités peut répondre à ce problème.
X-AVDD crée des données d’entraînement audio-visuelles compactes en associant les exemples dans les deux sens grâce à la cross-attention.
La méthode est évaluée en entraînant des classificateurs sur ses exemples synthétiques, puis en mesurant la fréquence à laquelle ils étiquettent correctement des exemples de test.
Sur VGGSound, avec 10 exemples par classe, un ConvNet utilisant une fusion par ensemble atteint 24,0 % de précision de test avec les données de X-AVDD, contre 8,2 % avec celles d’AVDD.
L’analyse des centres de caractéristiques relève aussi des centres audio et visuels plus proches pour les données synthétiques de X-AVDD sur AVE.
Ensemble, ces résultats étayent l’idée qu’une mise en correspondance dans les deux sens peut préserver des informations utiles entre les exemples associés dans les configurations testées.
Ces résultats portent sur la classification audio-visuelle, la tâche utilisée pour évaluer les données condensées. L’article ne teste pas si la méthode fonctionne pour la localisation temporelle ou la recherche audio-visuelle.
Analyse
Détails
- Licence
- arXiv non-exclusive