Dos cambios durante la generación reducen los fallos en conversaciones largas
Why Full-Duplex Speech Models Collapse in Long Conversations · arXiv:2610.32349
En palabras sencillas
Los modelos de voz full-duplex escuchan y hablan al mismo tiempo, pero ha sido difícil medir cómo se comportan durante conversaciones largas. Este artículo presenta un conjunto de pruebas con conversaciones grabadas y sesiones con un interlocutor hablado que responde.
En las pruebas de cinco modelos, todos acabaron degradándose o agotando su contexto. Los autores también desarrollaron dos cambios que se aplican durante la generación, sin reentrenar el modelo: uno conserva el primer elemento de su memoria y el otro reduce la repetición de palabras.
Juntos, redujeron los fallos medidos en dos modelos probados, aunque uno todavía se quedó en silencio algunas veces.
La investigación
Cuando los modelos de voz escuchan y hablan continuamente, lo que generan puede pasar a su siguiente entrada e influir en el habla posterior, mientras su contexto almacenado cambia.
¿Pueden mantenerse estables durante conversaciones de muchos minutos y pueden unos cambios sencillos durante la generación reducir los fallos que aparecen?
Los autores presentan una prueba de conversaciones largas y dos cambios durante la generación, sin reentrenamiento, que reducen los fallos medidos en dos modelos de voz con ventana deslizante.
El Full-Duplex Long-Horizon Benchmark evalúa si los modelos de voz que escuchan y hablan a la vez pueden mantenerse estables durante conversaciones largas.
Los autores evaluaron cinco modelos y después aplicaron dos cambios durante la generación a los dos modelos con ventana deslizante, cuya memoria descarta las entradas más antiguas a medida que llegan otras nuevas.
En reproducciones fijas, los cambios redujeron la repetición, el silencio y el habla ininteligible, aunque PersonaPlex todavía presentó silencios prolongados en algunas ejecuciones. En sesiones adaptativas, Gemini-2.5-Flash evaluó segmentos de habla de un minuto por su fluidez y sentido, y por su respuesta al interlocutor; las puntuaciones medias de referencia cayeron a la calificación más baja en unos diez minutos, mientras que las puntuaciones con ambos cambios se mantuvieron estables durante sesiones de hasta 20 minutos. En conjunto, estos resultados respaldan los cambios en los modelos y contextos probados.
El diagnóstico y las soluciones se probaron en dos modelos con ventana deslizante, y el benchmark observó los sistemas durante periodos limitados.
Las medidas de fallos y las puntuaciones de los evaluadores no establecen la calidad general de la conversación ni una estabilidad indefinida; PersonaPlex todavía presentó silencios prolongados en algunas reproducciones.
Qué muestran las pruebas
- Una prueba más larga para la voz
El artículo presenta el Full-Duplex Long-Horizon Benchmark (FD-LHB), un conjunto de pruebas para evaluar si los modelos de voz que escuchan y hablan a la vez se mantienen estables durante conversaciones largas. Las pruebas existentes descritas por los autores abarcaban un turno o unas pocas rondas.
FD-LHB incluye reproducciones fijas de voz grabada y sesiones interactivas con un interlocutor hablado que responde, por lo que permite examinar conversaciones controladas y adaptativas.
- Cinco modelos se degradan o se detienen
En FD-LHB, los autores evaluaron cinco modelos con memoria de ventana deslizante o de contexto creciente. Todos acabaron mostrando repeticiones, silencios prolongados o habla ininteligible, o alcanzaron su límite de contexto.
La diferencia importa: los modelos con ventana deslizante se degradaron sin agotar su memoria, mientras que los modelos con contexto creciente podían degradarse antes de alcanzar su capacidad. El hallazgo establece un problema en conversaciones largas para estos sistemas probados, no una regla general sobre todos los modelos de voz.
- Fallos distintos, pistas distintas
Para investigar el silencio y el habla ininteligible, los autores estudiaron Moshi y PersonaPlex, ambos modelos con ventana deslizante. Al aumentar la longitud de la ventana de atención, el silencio y el habla ininteligible empezaban más tarde; el habla ininteligible también mostró este patrón con una entrada compuesta solo por silencio.
La repetición no presentó una relación consistente con la longitud de la ventana. Los autores interpretan este contraste como evidencia que vincula el silencio y el habla ininteligible con la rotación de la caché, y apunta a otra explicación para la repetición.
- Dos señales de diagnóstico
Los autores comprobaron si una entrada específica de la caché era importante conservando una entrada temprana y variando cuál era.
En las ejecuciones probadas, conservar la primera entrada mantuvo siempre la entropía predictiva por debajo del umbral H=2; no conservar ninguna no lo consiguió, y otras entradas individuales fallaron en al menos una ejecución. Este diagnóstico mide la incertidumbre sobre la siguiente salida, no la calidad de la conversación. Por separado, insertar con mayor frecuencia una palabra que no había aparecido antes aumentó su repetición posterior en ambos modelos, especialmente en PersonaPlex.
- Los cambios durante la generación reducen fallos
Los autores introdujeron Initialization-Anchor Pinning, que conserva la primera entrada de la caché, y Duplex Repetition Penalty, que reduce la repetición de palabras usadas recientemente y protege contra los silencios prolongados.
En reproducciones emparejadas de Moshi, los métodos mostraron efectos complementarios: IAP por sí solo eliminó el habla ininteligible, mientras que DRP por sí solo eliminó la repetición, pero dejó habla ininteligible en todas las ejecuciones.
Combinados, no hubo repeticiones ni habla ininteligible, y se registró silencio prolongado en tres de 40 ejecuciones. Los resultados de PersonaPlex también mejoraron, pero el silencio prolongado siguió siendo más frecuente.
Detalles
- Autores del paper original
- Yeonju Kim, Bella Godiva, Se Jin Park, Yong Man Ro
- Enviado a arXiv
- Licencia
- arXiv non-exclusive