Un enlazador ayuda a la diarización a seguir a más personas que sus ranuras
En palabras sencillas
Un sistema de diarización en streaming indica quién habla mientras transcurre una conversación, pero solo tiene un número fijo de ranuras para hablantes. Si hablan más personas a lo largo del tiempo, puede reutilizar una ranura y perder la pista de quién vuelve a hablar después. El artículo añade un enlazador que no requiere entrenamiento y usa la actividad del sistema de diarización y el audio para volver a asociar tramos de habla con identidades.
En sesiones con más de cuatro hablantes, redujo la tasa de error de diarización del sistema de cuatro ranuras del 36,81 % al 22,64 %.
La investigación
Cuando un sistema de diarización en streaming reutiliza la ranura de un hablante después de que deje de hablar, puede seguir detectando el habla, pero perder la pista de quién vuelve.
¿Ese límite de ranuras le impide seguir a más personas durante una sesión o solo representar a más personas al mismo tiempo?
Los autores añaden un enlazador causal que no requiere entrenamiento y cambia las etiquetas de los tramos de habla de un sistema de diarización congelado para seguir identidades más allá de su límite de ranuras.
La pregunta es si las ranuras fijas de un sistema de diarización en streaming limitan el total de personas a las que puede seguir o solo cuántas puede representar a la vez.
Cuando se reutiliza la ranura de alguien que dejó de hablar, el sistema puede seguir detectando el habla, pero perder la etiqueta de identidad de quien vuelve.
Los autores comparan un sistema anfitrión congelado de cuatro ranuras, con y sin un enlazador causal, en sesiones que superan su límite de cuatro hablantes. En 505 sesiones de este tipo, la tasa de error de diarización agrupada y ponderada por duración bajó del 36,81 % al 22,64 %.
Como el enlazador solo cambia las etiquetas del habla detectada por el sistema anfitrión, la reducción refleja una menor confusión entre hablantes; por diseño, el habla omitida y la detectada falsamente no cambian.
La evaluación abarca ocho corpus, pero solo 53 sesiones tuvieron más de ocho hablantes, y la mayoría procedía de tres corpus. Los autores no hacen afirmaciones sobre la latencia, y no probaron la asignación de identidades incorrectas con más de 23 hablantes.
Análisis
Detalles
- Autores del paper original
- Aditya Srinivas Menon, Kumarmanas Nethil, Kavya Manohar
- Enviado a arXiv
- Licencia
- CC BY-SA 4.0