La puntuación grupal ayuda a los modelos de voz a evitar errores del docente
Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR · arXiv:2610.32572
En palabras sencillas
Los sistemas que reconocen el habla pueden tener dificultades con audio de un ámbito nuevo, incluso cuando hay audio disponible pero no transcripciones. Un modelo docente más grande puede producir transcripciones aproximadas, pero un estudiante entrenado para copiarlas palabra por palabra también puede aprender los errores del docente.
Este artículo evalúa otro enfoque: usar las transcripciones aproximadas para puntuar varias transcripciones posibles del estudiante, en lugar de enseñar cada palabra como si fuera correcta. En un conjunto de prueba bancario, este método obtuvo una tasa de error de palabras menor que el entrenamiento estándar con las transcripciones del mismo docente.
La investigación
Cuando hay audio de un ámbito nuevo pero no transcripciones, se puede entrenar un reconocedor estudiante con las transcripciones aproximadas de un modelo docente.
Pero si el entrenamiento trata cada palabra como correcta, ¿cómo puede adaptarse el estudiante sin limitarse a aprender los errores del docente?
GRPO adapta un reconocedor del habla puntuando transcripciones generadas frente a referencias automáticas, lo que reduce cuánto aprende de sus errores.
Los autores compararon GRPO con SFT usando las mismas seud etiquetas de Whisper Tiny para audio bancario. En el conjunto de prueba bancario de DefinedAI, evaluado frente a transcripciones correctas, GRPO obtuvo una tasa de error de palabras del 14.06%, frente al 32.11% de SFT.
Este resultado muestra un menor error de prueba en esa condición, mientras que los análisis de copia de errores aportan evidencia sobre las diferencias entre los métodos.
Las transcripciones correctas permitieron identificar palabras equivocadas en las seud etiquetas. GRPO directo repitió menos de esas palabras que SFT, y aparecieron con menor frecuencia en sus alternativas generadas.
El patrón concuerda con el mecanismo propuesto: una palabra equivocada que las candidatas producen rara vez influye menos en sus puntuaciones relativas.
La comparación bancaria cambia tanto el procedimiento de entrenamiento como la tasa de aprendizaje, y el artículo no indica si ambos estudiantes partieron del mismo punto de control. Los hallazgos se limitan a los datos y las condiciones de entrenamiento evaluados.
Además, GRPO requirió una etapa inicial de entrenamiento supervisado en los cuatro idiomas en los que el estudiante entrenado en inglés no podía producir los sistemas de escritura objetivo.
Qué muestran las pruebas
- El riesgo de las transcripciones aproximadas
Los sistemas de reconocimiento automático del habla (ASR) pueden rendir mal con audio de un ámbito nuevo, donde quizá no haya transcripciones. Una solución habitual es que un sistema docente transcriba el audio y luego entrenar a un estudiante con esas seud etiquetas generadas por máquina.
Pero el ajuste fino supervisado (SFT) trata cada palabra de la seud etiqueta como correcta, así que los errores del docente se convierten en objetivos de entrenamiento para el estudiante.
- Puntuar alternativas en grupo
El artículo propone Group Relative Policy Optimization (GRPO), un método para adaptar un modelo ASR estudiante usando seud etiquetas como referencias para puntuar. Para cada enunciado, el estudiante genera cuatro transcripciones candidatas.
GRPO las puntúa frente a la seud etiqueta y compara sus puntuaciones dentro del grupo, en vez de entrenar al estudiante para predecir cada palabra de la seud etiqueta. Cuando todas las candidatas omiten la misma palabra, la penalización compartida se cancela al calcular sus puntuaciones relativas.
- Prueba bancaria y análisis de errores
En el conjunto de prueba bancario de DefinedAI, GRPO entrenado con seud etiquetas de Whisper Tiny obtuvo una tasa de error de palabras del 14.06%, frente al 32.11% de SFT entrenado con esas mismas seud etiquetas. Los autores también comprobaron con qué frecuencia los estudiantes repetían errores de las seud etiquetas: GRPO directo copió menos palabras erróneas en sus transcripciones finales que SFT, y esos errores aparecieron con menor frecuencia en sus muestras candidatas.
Estas observaciones respaldan la explicación propuesta de cómo la puntuación grupal puede reducir la copia de errores.
- Las transcripciones correctas cambian el resultado
Un control bancario con transcripciones correctas para el entrenamiento dio un orden distinto: SFT seguido de GRPO obtuvo la menor tasa de error de palabras, mientras que GRPO directo tuvo la mayor de los tres enfoques evaluados.
Esta comparación respalda la interpretación de los autores de que la ventaja de GRPO frente a SFT está vinculada a referencias ruidosas, y no constituye una ventaja general cuando las transcripciones de entrenamiento son correctas.
- Hasta dónde se extienden los resultados
El patrón informado también aparece en las pruebas de salud y seguros con seud etiquetas de Whisper Large-V3. En cuatro pruebas de idiomas con pocos recursos, la tasa de error de caracteres bajó cuando GRPO se aplicó después de SFT.
No se evaluó GRPO directo en esos idiomas porque el estudiante entrenado en inglés no podía producir inicialmente sus sistemas de escritura; primero hizo falta SFT para establecer el sistema objetivo.
Detalles
- Autores del paper original
- Shashi Kumar, Yanis Labrak, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek
- Enviado a arXiv
- Licencia
- CC BY 4.0