Monsoon crea datos de habla que mejoran el reconocimiento conversacional

Cuando los sistemas de reconocimiento del habla se entrenan con datos escasos o compuestos sobre todo por lecturas en voz alta, ¿funcionan bien con conversaciones sin guion?

Los autores estudian si recopilar y verificar habla espontánea puede reducir esa brecha, y si los modelos resultantes funcionan bien con grabaciones obtenidas de manera independiente de la colección de entrenamiento.

Monsoon recopila y verifica conversaciones espontáneas, y luego selecciona segmentos de habla para entrenar modelos de reconocimiento en idiomas con pocos datos.

Los autores comparan Whisper medium, entrenado adicionalmente con cada corpus de Monsoon, con IndicWhisper, que tiene la misma arquitectura pero una receta de entrenamiento distinta. En Vistaar, cuyas grabaciones proceden de fuentes utilizadas para entrenar IndicWhisper, los resultados son bastante similares.

En pruebas conversacionales recopiladas de forma independiente, Whisper entrenado con Monsoon obtiene una ventaja de entre 20 y 44 puntos porcentuales en la tasa de error de palabras semántica —una medida en la que un evaluador basado en un modelo de lenguaje resta importancia a las diferencias entre transcripciones si se conserva lo dicho— en los resultados por idioma que se presentan.

Este contraste respalda la interpretación de que los datos de Monsoon ayudan con las conversaciones, más allá de igualar al modelo entrenado con datos públicos en fuentes conocidas.

Los autores relacionan la brecha con la diferencia entre el habla leída y la espontánea, pero la comparación no aísla esa causa.

La comparación con IndicWhisper excluye el cachemir porque ese modelo no lo admite. Como las recetas de entrenamiento de los modelos también son distintas, la comparación no permite atribuir únicamente a los datos de entrenamiento la ventaja en reconocimiento del habla conversacional.