FR
L’isolation vocale aide avec plusieurs voix, mais pénalise les appelants seuls
The Voice on the Line · arXiv:2610.35272
En termes simples
Un transcripteur d’appels doit entendre l’appelant tout en ignorant les autres personnes à proximité. Cet article présente des modèles qui isolent la voix en direct à partir du son de l’appel, afin de repérer l’interlocuteur principal et d’atténuer les autres voix.
Lors des tests, le modèle publié a fait moins d’erreurs que VoxLock sur les longues réunions et les appels où une autre voix était présente. Les résultats étaient comparables sur les enregistrements de Krisp, mais le modèle a fait plus d’erreurs sur les appels avec un seul interlocuteur. Il peut donc encore perdre une partie de la voix de l’appelant en essayant d’écarter les autres.
La recherche
Un transcripteur d’appels en direct peut-il atténuer la voix d’une autre personne après une longue pause de l’appelant, tout en gardant les mots de ce dernier lorsqu’il est seul ? De courts extraits d’évaluation peuvent passer à côté de ces deux échecs.
La question est de savoir si un modèle peut traiter des appels plus longs sans dégrader la transcription lorsque l’appelant est seul.
Les auteurs construisent des modèles d’isolation vocale causale qui choisissent un appelant à partir du son en direct, puis évaluent leur capacité à atténuer les autres voix tout en préservant la sienne.
Les auteurs ont construit des modèles d’isolation vocale causale qui repèrent l’appelant à partir du son de l’appel et atténuent les autres voix au fil de leur arrivée. La version publiée ajoute une branche causale WavLM entraînée au sein du modèle.
Sur dev-4, qui combine trois ensembles de développement de réunions et des appels propres, elle a obtenu un taux d’erreur de mots de 10,55 % avant une modification ultérieure, contre 11,44 % sans WavLM.
Face à VoxLock exécuté en direct sur des enregistrements de test, la version publiée a fait moins d’erreurs de mots sur les longues réunions et les appels avec une autre voix, mais davantage sur les appels propres avec un seul interlocuteur.
Ces résultats permettent une réponse circonscrite : le modèle s’en sort mieux dans plusieurs tests avec chevauchement des voix, mais la préservation de la voix de l’appelant reste un point faible.
Ces résultats proviennent des enregistrements de test et des systèmes de reconnaissance vocale précisés dans l’article. La comparaison sur l’ensemble de développement entre les modèles avec et sans WavLM ne précise pas complètement si toutes les autres conditions d’entraînement et les états initiaux étaient identiques.
Les auteurs indiquent aussi que les variations d’un entraînement à l’autre peuvent dépasser les petits écarts observés sur cet ensemble.
Ce que montrent les preuves
- Deux façons d’échouer en isolant une voix
L’article présente des modèles d’isolation vocale causale pour la transcription : ils utilisent le son de l’appel pour repérer l’interlocuteur principal, préserver sa voix et atténuer les autres. Le problème a deux aspects.
D’autres voix peuvent s’infiltrer dans la transcription après une longue période de parole, tandis qu’un modèle qui filtre trop peut supprimer la voix d’un appelant seul.
- Choisir l’appelant à partir de l’appel
Les modèles traitent le son entrant sans attendre les sons futurs. Pour choisir l’interlocuteur, ils utilisent un profil numérique de sa voix, construit à partir de l’appel : le système en direct commence sans échantillon, puis retient les trois secondes les plus fortes entendues jusque-là.
Il fige son choix lorsque l’appel atteint 15 secondes. La version publiée entraîne aussi au sein du modèle une branche causale WavLM-Large à partir de ses poids préentraînés.
- Un progrès sur l’ensemble de développement
Les auteurs ont comparé le modèle moyen avec et sans WavLM sur dev-4, un indicateur de développement qui combine trois ensembles de réunions et des appels réels propres. Le taux d’erreur de mots est le pourcentage de mots de référence reconnus incorrectement.
Avant une modification ultérieure des fenêtres d’entraînement, le modèle avec WavLM a obtenu 10,55 %, contre 11,44 % sans WavLM. Ce résultat concerne cet indicateur agrégé de développement et ne garantit pas les mêmes résultats sur les ensembles de test.
- Les résultats de test dépendent de l’appel
Sur les enregistrements de test, le modèle publié a fait moins d’erreurs de mots que VoxLock en direct sur les longs extraits de réunion et les appels avec une autre voix. Les résultats étaient comparables sur les enregistrements de Krisp et moins bons sur les appels propres avec un seul interlocuteur.
Pour les longs extraits de réunion de VoxLock, l’intervalle calculé à partir d’un rééchantillonnage des appelants incluait encore zéro. Les résultats indiquent donc une amélioration dans certaines situations où les voix se chevauchent, mais aussi une faiblesse persistante pour les appelants seuls.
- Le découpage de l’entraînement aide partiellement au démarrage
Les auteurs relient une grande partie des altérations au début des enregistrements avec un seul appelant à une lacune de l’entraînement : les appels simulés ne commençaient pas par une personne déjà en train de parler. Dans 55 des 120 appels de développement qui commençaient au milieu d’une phrase, le modèle d’avant la modification supprimait 38 % des trois premières secondes de la voix de l’appelant.
Le découpage en fenêtres d’extraits d’appels plus longs a exposé le modèle à cette situation. Sur les appels propres du test, cette modification a fait baisser le taux d’erreur de mots de 7,27 % à 5,58 % ; VoxLock en direct a obtenu 2,92 %.
Le modèle publié supprimait alors 7 % des paroles au début de l’appel, contre 23 % auparavant. Ces résultats étayent l’explication des auteurs sur le démarrage à froid et indiquent une correction partielle, même si le taux d’erreur sur les appels propres restait supérieur à celui de VoxLock en direct.
Détails
- Auteurs de l’article original
- Husein Zolkepli
- Soumis à arXiv
- Licence
- CC BY 4.0