Deux changements à la génération réduisent les échecs en conversation longue
Why Full-Duplex Speech Models Collapse in Long Conversations · arXiv:2610.32349
En termes simples
Les modèles vocaux en duplex intégral écoutent et parlent en même temps, mais il était difficile de mesurer leur comportement au fil de longues conversations. Cet article présente une suite de tests avec des conversations enregistrées et des sessions où un partenaire parlant réagit au modèle.
Lors des tests sur cinq modèles, chacun a fini par se dégrader ou par manquer de contexte. Les auteurs ont aussi mis au point deux modifications qui agissent pendant la génération sans réentraînement : l’une conserve le premier élément de la mémoire du modèle, l’autre décourage la répétition des mots.
Ensemble, elles ont réduit les échecs mesurés dans deux modèles testés, même si l’un d’eux s’est encore parfois tu.
La recherche
Quand un modèle vocal écoute et parle sans interruption, sa sortie peut entrer dans son entrée suivante et influencer la suite de ses paroles, alors que le contexte qu’il stocke évolue.
Peut-il rester stable pendant des conversations de plusieurs minutes, et de simples changements appliqués pendant la génération peuvent-ils réduire les échecs observés ?
Les auteurs présentent un test de conversations longues et deux changements sans réentraînement qui réduisent les échecs mesurés dans deux modèles vocaux à fenêtre glissante.
Le Full-Duplex Long-Horizon Benchmark évalue si les modèles vocaux qui écoutent et parlent en même temps peuvent rester stables au cours de longues conversations.
Les auteurs ont évalué cinq modèles, puis appliqué deux changements au moment de la génération aux deux modèles à fenêtre glissante, dont la mémoire élimine les entrées anciennes à mesure que de nouvelles arrivent.
Dans les relectures fixes, ces changements ont réduit les répétitions, les silences et le charabia, même si PersonaPlex a encore connu des silences prolongés dans certaines exécutions.
Dans les sessions adaptatives, Gemini-2.5-Flash a évalué des segments d’une minute où le modèle parlait, en jugeant leur fluidité et leur sens ainsi que la réactivité envers le partenaire ; les notes moyennes des versions de référence sont tombées à la note la plus basse en une dizaine de minutes, tandis que celles obtenues avec les deux changements sont restées stables lors de sessions allant jusqu’à 20 minutes. Ensemble, ces résultats étayent l’intérêt de ces changements pour les modèles et les conditions testés.
Le diagnostic et les correctifs ont été testés sur deux modèles à fenêtre glissante, et le benchmark a observé les systèmes pendant des périodes limitées.
Les mesures d’échec et les notes des évaluateurs n’établissent ni la qualité globale des conversations ni une stabilité indéfinie ; PersonaPlex a encore présenté des silences prolongés dans certaines relectures.
Ce que montrent les preuves
- Tester la parole sur la durée
L’article présente le Full-Duplex Long-Horizon Benchmark (FD-LHB), une suite de tests qui évalue si les modèles vocaux capables d’écouter et de parler en même temps restent stables lors de longues conversations. Les tests existants décrits par les auteurs portaient sur un tour de parole ou quelques échanges.
FD-LHB comprend plutôt des relectures fixes d’enregistrements vocaux et des sessions interactives avec un partenaire parlant qui réagit, afin d’étudier des conversations à la fois contrôlées et adaptatives.
- Cinq modèles se dégradent ou s’arrêtent
Avec FD-LHB, les auteurs ont évalué cinq modèles dont la mémoire fonctionnait soit par fenêtre glissante, soit par contexte croissant. Chaque modèle a fini par répéter des mots, garder le silence de façon prolongée, produire du charabia ou atteindre sa limite de contexte.
Cette distinction compte : les modèles à fenêtre glissante se sont dégradés sans épuiser leur mémoire, tandis que les modèles à contexte croissant pouvaient se dégrader avant d’en atteindre la capacité. Le résultat établit un problème de conversation longue dans les systèmes testés, pas une règle générale pour tous les modèles vocaux.
- Des échecs différents, des indices différents
Pour étudier les silences et le charabia, les auteurs se sont penchés sur Moshi et PersonaPlex, deux modèles à fenêtre glissante. Quand ils ont augmenté la longueur de la fenêtre d’attention, les silences et le charabia sont apparus plus tard ; le charabia a aussi suivi cette tendance avec une entrée composée uniquement de silence.
La répétition, elle, n’a pas montré de lien constant avec la longueur de la fenêtre. Les auteurs interprètent ce contraste comme un indice reliant silences et charabia au renouvellement de la mémoire, tandis que la répétition semble relever d’une autre explication.
- Deux indices issus des diagnostics
Les auteurs ont testé l’importance d’une entrée de la mémoire en conservant une entrée précoce et en faisant varier celle qui était gardée. Dans les exécutions testées, conserver la première entrée a maintenu à chaque fois l’entropie prédictive sous le seuil H=2 ; ne rien conserver n’a pas eu cet effet, et la conservation d’autres entrées isolées a échoué dans au moins une exécution.
Ce diagnostic mesure l’incertitude sur la prochaine sortie, pas la qualité de la conversation. Dans un test distinct, l’insertion répétée d’un mot jusque-là absent a accru sa réapparition ultérieure dans les deux modèles, surtout chez PersonaPlex.
- Les changements à la génération réduisent les échecs
Les auteurs ont introduit Initialization-Anchor Pinning, qui conserve la première entrée de la mémoire, et Duplex Repetition Penalty, qui décourage les mots récemment utilisés et prévient les silences prolongés. Dans des relectures Moshi appariées, les deux méthodes ont eu des effets complémentaires : IAP seul a éliminé le charabia, tandis que DRP seul a éliminé les répétitions mais laissé du charabia dans chaque exécution.
Combinées, elles n’ont entraîné ni répétition ni charabia, et des silences prolongés dans trois exécutions sur 40. Les résultats se sont aussi améliorés pour PersonaPlex, mais les silences prolongés y sont restés plus fréquents.
Détails
- Auteurs de l’article original
- Yeonju Kim, Bella Godiva, Se Jin Park, Yong Man Ro
- Soumis à arXiv
- Licence
- arXiv non-exclusive