FR
Un test vocal plus large et un extracteur en un seul passage
Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes · arXiv:2610.32749
En termes simples
L’article présente RealSSA, un moyen de tester des systèmes qui utilisent la vidéo de la bouche d’une personne et l’audio pour isoler sa voix au fil d’une conversation. Le benchmark comprend des scènes simulées variées et un ensemble distinct d’enregistrements réels réservé à l’évaluation.
L’article présente aussi Falcon, qui sépare les voix à plusieurs échelles en un seul passage et apprend à distinguer la voix cible de celles des personnes proches. Sur RealSSA-Sim, son score moyen de séparation est légèrement supérieur à celui d’un système causal de comparaison. Ce résultat porte sur des scènes variées, et non sur tous les enregistrements ou tous les systèmes.
La recherche
Un système peut-il isoler la voix d’une personne lorsque le nombre et la distance des autres voix, l’acoustique de la pièce et le bruit varient, et peut-on le tester sur des enregistrements réels comme sur des simulations ? L’article s’attaque à cette lacune en matière d’évaluation et d’extraction.
Les auteurs présentent RealSSA pour tester des scènes acoustiques variées et Falcon, un extracteur causal qui sépare les voix à plusieurs échelles en un seul passage et apprend à limiter les fuites provenant des voix proches.
Les auteurs ont évalué Falcon sur RealSSA-Sim, où l’amélioration du rapport signal sur bruit invariant à l’échelle (SI-SNRi) mesure le progrès de la séparation par rapport au mélange non traité. Falcon obtient 7,7 dB, contre 7,6 dB pour AV-TF-GridNet causal.
Ces scores sont calculés en moyenne sur des scènes variées et différents nombres de personnes parlant en même temps ; ils donnent donc un résultat global pour ce jeu de test.
Un contrôle distinct rapporte des gains lorsque la fonction de perte contrastive liée aux locuteurs est ajoutée à trois architectures. Sur les enregistrements RealSSA-Real mis de côté, l’entraînement sur RealSSA-Sim améliore DNSMOS, une estimation de la qualité vocale perçue à partir de l’audio, pour les cinq architectures testées, et NISQA, une autre estimation de ce type, pour quatre ; AV-TF-GridNet fait exception pour NISQA.
Pour Falcon, les deux scores sont plus élevés après l’entraînement sur RealSSA-Sim qu’après celui sur VoxCeleb2. Ensemble, ces résultats étayent l’approche de l’article dans les conditions testées.
Ces résultats concernent les systèmes et les conditions évalués dans l’article. RealSSA-Real couvre environ 84 minutes d’enregistrements de 10 participants dans huit environnements ; Falcon traite un signal audio à un seul canal, et sa fonction de perte contrastive utilise des enregistrements propres des interférences proches disponibles en simulation.
Ce que montrent les preuves
- Deux lacunes de l’extraction
L’extraction de la voix cible à partir de l’audio et de la vidéo (AVTSE) utilise la vidéo de la bouche d’une personne avec l’audio pour isoler sa voix. Dans le cadre causal de l’article, la sortie audio avance toutes les 8 ms sans tampon supplémentaire pour des portions audio futures, tandis que le flux vidéo met en mémoire tampon trois images futures, soit 120 ms d’anticipation.
L’article relève deux lacunes : de nombreux tests existants fixent le nombre de personnes et n’incluent pas d’enregistrements réels, tandis que certains systèmes causaux sont coûteux en calcul ou exécutent plusieurs fois un petit séparateur. Les auteurs présentent RealSSA et Falcon pour répondre aux besoins d’évaluation et d’extraction.
- Un test plus varié
RealSSA associe un ensemble de simulations paramétrables à des enregistrements réels distincts réservés à l’évaluation. Les simulations font varier le nombre de personnes qui parlent, les interférences proches ou éloignées, la réverbération, le bruit ambiant et les bruits soudains.
Les chercheurs peuvent ainsi étudier les performances dans des conditions acoustiques changeantes et évaluer les systèmes sur des enregistrements hors de l’ensemble simulé. Falcon est la méthode d’extraction causale de l’article, conçue pour traiter plusieurs échelles temporelles et fréquentielles en un seul passage du séparateur.
- Difficulté et qualité
Le détail des scènes montre pourquoi cette variété de conditions compte. Sur RealSSA-Sim, les petites réunions sont les scènes les plus difficiles et l’extérieur les plus faciles pour les architectures évaluées.
Les auteurs interprètent ces résultats comme un indice que la présence de plusieurs voix proches contribue fortement à la difficulté du benchmark, au-delà de la seule réverbération. Sur l’ensemble du test, l’amélioration du rapport signal sur bruit invariant à l’échelle de Falcon par rapport au mélange non traité est de 7,7 dB, contre 7,6 dB pour AV-TF-GridNet causal ; ces scores sont calculés en moyenne sur les différentes scènes et le nombre de personnes qui parlent en même temps.
- Entraînement et enregistrements réels
Un contrôle distinct a ajouté la fonction de perte contrastive de Falcon à trois architectures. Ce signal d’apprentissage rapproche les caractéristiques audio de la voix estimée de celles de la voix cible propre et les éloigne de celles des personnes parlant à proximité.
Sur RealSSA-Sim, le score de séparation rapporté augmente pour Falcon, SwiftNet-12 et Dolphin. Sur les enregistrements RealSSA-Real mis de côté, l’entraînement sur RealSSA-Sim améliore les estimations DNSMOS de la qualité vocale perçue pour les cinq architectures testées et les estimations NISQA pour quatre d’entre elles ; AV-TF-GridNet fait exception pour NISQA.
Pour Falcon, les deux mesures sont plus élevées qu’après un entraînement sur VoxCeleb2. Ces résultats étayent la méthode et le jeu de données dans les conditions testées, avec des limites liées à la taille de l’échantillon réel et aux données d’entraînement de la fonction de perte.
Détails
- Auteurs de l’article original
- Wendi Sang, Kai Li, Yifan Li, Jianqiang Huang, Xiaolin Hu
- Soumis à arXiv
- Licence
- arXiv non-exclusive