Le score par groupe aide les modèles vocaux à éviter les erreurs de leur enseignant
Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR · arXiv:2610.32572
En termes simples
Un système de reconnaissance vocale peut avoir du mal avec un nouveau type d’enregistrement, même si l’on dispose de l’audio sans transcription. Un modèle enseignant plus grand peut produire des transcriptions approximatives, mais un modèle étudiant entraîné à copier chaque mot risque aussi d’apprendre les erreurs de son enseignant.
Cet article teste une autre méthode : utiliser les transcriptions approximatives pour noter plusieurs transcriptions possibles du modèle étudiant, au lieu de lui enseigner que chaque mot est correct. Sur un jeu de test bancaire, cette méthode a obtenu un taux d’erreur sur les mots inférieur à celui de l’entraînement classique sur les transcriptions du même modèle enseignant.
La recherche
Quand on ne dispose pas de transcriptions pour des enregistrements audio d’un nouveau domaine, on peut entraîner un système de reconnaissance vocale étudiant à partir des transcriptions approximatives d’un modèle enseignant.
Mais si l’entraînement traite chaque mot comme correct, comment le modèle étudiant peut-il s’adapter sans simplement apprendre les erreurs de l’enseignant ?
GRPO adapte un système de reconnaissance vocale en évaluant des transcriptions échantillonnées par rapport à des références produites par une machine, ce qui réduit l’influence de leurs erreurs.
Les auteurs ont comparé GRPO et SFT avec les mêmes pseudo-étiquettes de Whisper Tiny pour des enregistrements bancaires. Sur le jeu de test bancaire de DefinedAI, évalué à l’aide de transcriptions de référence vérifiées, GRPO a obtenu un taux d’erreur sur les mots de 14.06 %, contre 32.11 % pour SFT.
Ce résultat montre une erreur de test plus faible dans cette condition ; les vérifications de reproduction des erreurs apportent des éléments sur la différence entre les méthodes.
Les transcriptions de référence vérifiées ont permis de repérer les mots erronés des pseudo-étiquettes. GRPO direct a répété moins souvent ces mots que SFT, et ils figuraient moins souvent dans ses propositions échantillonnées.
Cette tendance correspond au mécanisme proposé : un mot erroné que les propositions produisent rarement a moins d’influence sur leurs scores relatifs.
La comparaison sur les données bancaires change à la fois la procédure d’entraînement et le taux d’apprentissage. L’article ne précise pas si les deux modèles étudiants sont partis du même point de départ.
Les résultats concernent les données et les conditions d’entraînement testées. Pour les quatre langues où le modèle étudiant entraîné en anglais ne pouvait pas produire le système d’écriture visé, GRPO a aussi nécessité une première étape d’entraînement supervisé.
Ce que montrent les preuves
- Le risque des transcriptions approximatives
Les systèmes de reconnaissance automatique de la parole (ASR) peuvent mal fonctionner sur des enregistrements d’un nouveau domaine, où les transcriptions sont parfois indisponibles. Une solution courante consiste à demander à un modèle enseignant de transcrire l’audio, puis à entraîner un modèle étudiant sur ces pseudo-étiquettes, c’est-à-dire des transcriptions produites par une machine.
Mais l’ajustement supervisé fin (SFT) considère chaque mot de la pseudo-étiquette comme correct : les erreurs de l’enseignant deviennent donc des cibles d’entraînement pour le modèle étudiant.
- Comparer les propositions par groupe
L’article propose Group Relative Policy Optimization (GRPO), une méthode qui utilise les pseudo-étiquettes comme références pour noter les propositions d’un modèle étudiant ASR. Pour chaque énoncé, le modèle génère quatre transcriptions possibles.
GRPO les compare aux pseudo-étiquettes et évalue leurs scores les uns par rapport aux autres, au lieu d’entraîner le modèle à prédire chaque mot de la pseudo-étiquette. Si les quatre propositions omettent le même mot, la pénalité commune s’annule dans leurs scores relatifs.
- Test bancaire et vérification des erreurs
Sur le jeu de test bancaire de DefinedAI, GRPO entraîné avec les pseudo-étiquettes de Whisper Tiny a obtenu un taux d’erreur sur les mots de 14.06 %, contre 32.11 % pour SFT entraîné avec les mêmes pseudo-étiquettes. Les auteurs ont aussi vérifié à quelle fréquence les modèles étudiants répétaient les erreurs des pseudo-étiquettes : GRPO direct a recopié moins de mots erronés dans ses transcriptions finales que SFT, et ces erreurs apparaissaient moins souvent dans ses propositions échantillonnées.
Ces observations étayent l’explication proposée : le score par groupe peut réduire la reproduction des erreurs.
- Des transcriptions correctes changent le résultat
Un contrôle bancaire utilisant des transcriptions d’entraînement vérifiées donne un ordre différent : SFT suivi de GRPO a le taux d’erreur sur les mots le plus bas, tandis que GRPO direct a le plus élevé des trois approches testées.
Cette comparaison étaye l’interprétation des auteurs selon laquelle l’avantage de GRPO sur SFT est lié aux références bruitées, plutôt qu’à un avantage général lorsque les transcriptions d’entraînement sont correctes.
- Les domaines et langues concernés
La tendance rapportée apparaît aussi dans les tests en santé et en assurance, avec des pseudo-étiquettes de Whisper Large-V3. Dans quatre tests de langues à faibles ressources, le taux d’erreur sur les caractères a baissé lorsque GRPO était appliqué après SFT.
GRPO direct n’a pas été testé pour ces langues, car le modèle étudiant entraîné en anglais ne pouvait pas produire leurs systèmes d’écriture au départ ; SFT a d’abord dû établir le système visé.
Détails
- Auteurs de l’article original
- Shashi Kumar, Yanis Labrak, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek
- Soumis à arXiv
- Licence
- CC BY 4.0