ES
Una prueba más amplia del habla y un extractor de una pasada
Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes · arXiv:2610.32749
En palabras sencillas
El artículo presenta RealSSA, una forma de evaluar sistemas que usan el video de la boca de una persona y el audio para aislar su voz mientras avanza una conversación. Incluye escenas simuladas variadas y un conjunto aparte de grabaciones reales para la evaluación. También presenta Falcon, que separa el habla a varias escalas en una sola pasada y aprende a distinguir la voz objetivo de las voces cercanas.
En RealSSA-Sim, la puntuación media de separación de Falcon fue ligeramente mayor que la de un sistema causal de comparación. El resultado abarca escenas variadas, no todas las grabaciones ni todos los sistemas.
La investigación
¿Puede un sistema aislar la voz de una persona cuando cambian la cantidad y la distancia de los demás hablantes, la acústica de la sala y el ruido, y evaluarse tanto con grabaciones reales como con simulaciones? El artículo aborda esta carencia tanto en la evaluación como en la extracción.
Los autores presentan RealSSA para evaluar escenas acústicas variadas y Falcon, un extractor causal que separa a varias escalas en una pasada y se entrena para reducir la filtración de voces cercanas.
Los autores evaluaron Falcon en RealSSA-Sim, donde la mejora de la relación señal-ruido con escala invariante (SI-SNRi) mide cuánto mejora la separación frente a la mezcla sin procesar. Falcon obtuvo 7.7 dB, frente a 7.6 dB para AV-TF-GridNet causal.
Las puntuaciones promedian distintas escenas y cantidades de hablantes interferentes, así que la comparación ofrece un resultado general para este conjunto de pruebas.
Una prueba de control aparte informa mejoras al añadir la función de pérdida contrastiva para hablantes a tres arquitecturas. En las grabaciones reservadas de RealSSA-Real, entrenar con RealSSA-Sim mejoró DNSMOS —una estimación basada en audio de la calidad percibida de la voz— en las cinco arquitecturas evaluadas y NISQA, otra estimación de ese tipo, en cuatro; AV-TF-GridNet fue la excepción en NISQA.
En Falcon, ambas puntuaciones fueron más altas después del entrenamiento con RealSSA-Sim que con VoxCeleb2. En conjunto, estos hallazgos respaldan el enfoque del artículo bajo las condiciones evaluadas.
Estos hallazgos corresponden a los sistemas y condiciones que evaluó el artículo. RealSSA-Real abarca unos 84 minutos de grabaciones de 10 participantes en ocho entornos; Falcon procesa audio de un solo canal y su función de pérdida contrastiva utiliza grabaciones limpias de interferentes cercanos disponibles en la simulación.
Qué muestran las pruebas
- Dos carencias en la extracción
La extracción audiovisual de una voz objetivo (AVTSE) utiliza el video de la boca de una persona junto con el audio para aislar su voz. En la configuración causal del artículo, la salida de audio avanza cada 8 ms sin añadir un búfer de fragmentos de audio futuros, mientras que el flujo visual almacena tres fotogramas futuros, es decir, 120 ms de anticipación. El artículo señala dos carencias: muchas pruebas existentes fijan la cantidad de hablantes y omiten grabaciones reales, mientras que algunos sistemas causales requieren mucho cómputo o ejecutan repetidamente un separador pequeño. Los autores presentan RealSSA y Falcon para abordar, respectivamente, la evaluación y la extracción.
- Una prueba más amplia
RealSSA combina un conjunto de simulaciones controlables con un grupo aparte de grabaciones reales reservado para la evaluación. Las simulaciones varían la cantidad de hablantes, la interferencia de voces cercanas y lejanas, la reverberación, el ruido ambiental y los ruidos repentinos.
Esto permite estudiar el rendimiento en condiciones acústicas cambiantes y probar sistemas con grabaciones ajenas al conjunto simulado. Falcon es el método de extracción causal del artículo, diseñado para procesar varias escalas de tiempo y frecuencia en una sola pasada del separador.
- Dificultad y calidad
El desglose por escenas muestra por qué importa abarcar distintas condiciones. En RealSSA-Sim, las escenas de reuniones pequeñas fueron las más difíciles y las escenas al aire libre, las más fáciles para las arquitecturas evaluadas.
Los autores interpretan esto como evidencia de que la proximidad de varias voces contribuye considerablemente a la dificultad de este benchmark, más allá de la reverberación por sí sola. En la prueba agregada, la mejora de Falcon en la relación señal-ruido con escala invariante respecto a la mezcla sin procesar fue de 7.7 dB, frente a 7.6 dB para AV-TF-GridNet causal; estas puntuaciones promedian las distintas escenas y cantidades de hablantes.
- Entrenamiento y grabaciones reales
En una prueba de control aparte, se añadió la función de pérdida contrastiva para hablantes de Falcon a tres arquitecturas. Esta señal de entrenamiento acerca el habla estimada a las características de audio de la voz objetivo limpia y la aleja de las de los interferentes cercanos.
En RealSSA-Sim, la puntuación de separación informada aumentó para Falcon, SwiftNet-12 y Dolphin. En las grabaciones reservadas de RealSSA-Real, entrenar con RealSSA-Sim mejoró las estimaciones DNSMOS de calidad percibida de la voz en las cinco arquitecturas evaluadas y las estimaciones NISQA en cuatro; AV-TF-GridNet fue la excepción en NISQA.
Para Falcon, ambas puntuaciones fueron más altas que después del entrenamiento con VoxCeleb2. Estos resultados respaldan el método y el conjunto de datos en las condiciones evaluadas, con límites derivados del tamaño del conjunto de grabaciones reales y de los datos de entrenamiento de la función de pérdida.
Detalles
- Autores del paper original
- Wendi Sang, Kai Li, Yifan Li, Jianqiang Huang, Xiaolin Hu
- Enviado a arXiv
- Licencia
- arXiv non-exclusive