La cross-attention bidirezionale aiuta i dati audio-visivi compatti a restare utili
In parole semplici
Può essere difficile ridurre un grande dataset audio-visivo mantenendo i legami utili tra ciò che mostra un video e ciò che si sente nell’audio. X-AVDD crea un piccolo insieme etichettato di esempi abbinati, usando ciascun tipo di informazione per aiutare a modellare l’altro.
In una prova, una ConvNet addestrata sui suoi esempi sintetici ha classificato correttamente più esempi del test VGGSound rispetto a una addestrata sui dati AVDD, con 10 esempi per classe. Il risultato riguarda questo dataset e questa configurazione, non ogni modello o compito.
La ricerca
Un piccolo dataset audio-visivo può conservare abbastanza informazioni per addestrare un classificatore utile, mantenendo il legame tra suoni e immagini? L’articolo individua nel fabbisogno di memoria e nel debole allineamento tra modalità ostacoli dei metodi precedenti, incluso AVDD.
Verifica se modellare le coppie sintetiche usando informazioni provenienti da entrambe le modalità possa affrontare il problema.
X-AVDD crea dati di addestramento audio-visivi compatti abbinando esempi nelle due direzioni tramite cross-attention.
Il metodo viene valutato addestrando classificatori sui suoi esempi sintetici e verificando con quale frequenza assegnano l’etichetta corretta agli esempi di test.
Su VGGSound, con 10 esempi per classe, una ConvNet che usa la fusione d’insieme raggiunge un’accuratezza di test del 24.0% con i dati X-AVDD, rispetto all’8.2% con i dati AVDD.
L’analisi dei centri delle caratteristiche rileva inoltre centri audio e visivi delle classi più vicini nei dati sintetici X-AVDD su AVE.
Nel loro insieme, questi risultati sostengono l’idea che la corrispondenza bidirezionale possa preservare informazioni utili negli esempi abbinati nelle configurazioni testate.
I risultati riguardano la classificazione audio-visiva, il compito usato per valutare i dati distillati. L’articolo non verifica se il metodo funziona per la localizzazione temporale o il retrieval audio-visivo.
Analisi
Dettagli
- Licenza
- arXiv non-exclusive