ES
Los modelos de generación de imágenes pueden ayudar a un sistema de voz a aprender palabras
ImageTTS: Repurposing Pretrained Image Diffusion Transformers for Speech Synthesis · arXiv:2610.34807
En palabras sencillas
ImageTTS es un sistema que genera voz y adapta un modelo entrenado para crear imágenes. Convierte el habla en un mapa de sonido parecido a una imagen, lo comprime con un modelo de imágenes congelado y luego entrena un modelo de generación de imágenes para producir habla a partir de texto y, en una de sus modalidades, de una voz de referencia.
En una prueba controlada, el modelo entrenado con imágenes cometió menos errores de reconocimiento de palabras que el mismo tipo de modelo iniciado con pesos aleatorios. El resultado se limita al habla y a las condiciones de entrenamiento evaluadas.
La investigación
La síntesis de voz debe producir las palabras solicitadas y conservar la identidad de un hablante a partir de una breve muestra de referencia. Aún no está claro si un modelo entrenado con imágenes puede transferir representaciones y conocimientos de generación útiles a esa tarea.
ImageTTS adapta un modelo de generación de imágenes para producir habla; en pruebas controladas, la inicialización con imágenes mejora el aprendizaje y la precisión de palabras frente a la inicialización aleatoria.
Los autores preguntan si un modelo de generación de imágenes puede ayudar a sintetizar habla conservando las palabras y la identidad del hablante.
ImageTTS representa el habla mediante mapas de sonido parecidos a imágenes y adapta un generador entrenado con imágenes para producir voz a partir de texto y, en la síntesis de cero ejemplos previos, de una voz de referencia.
En una comparación controlada de entrenamiento con LibriTTS, el modelo preentrenado con imágenes aprendió más rápido que uno inicializado aleatoriamente. En 200 intervenciones de prueba en inglés, con las mismas 100,000 actualizaciones, un sistema de reconocimiento de voz detectó una tasa de error por palabra del 2.7% con el modelo preentrenado y del 4.2% con el modelo aleatorio. Esto respalda un beneficio de la inicialización con imágenes en la configuración evaluada.
La evidencia procede de conjuntos de datos de voz y condiciones de evaluación concretos.
Los autores también informan de una menor similitud de hablante en el conjunto de prueba chino de Seed-TTS y atribuyen esa diferencia a que el VAE de imágenes congelado no conserva por completo la información de identidad; no pusieron a prueba esa explicación por separado.
Qué muestran las pruebas
- ¿Pueden ayudar los modelos de imágenes con el habla?
La generación de voz debe acertar las palabras y, cuando se proporciona una voz de referencia, conservar la identidad del hablante. ImageTTS es un sistema que permite evaluar si un modelo entrenado para generar imágenes puede ayudar con esas exigencias.
Convierte el habla en espectrogramas parecidos a imágenes, usa un modelo de imágenes congelado para representarlos y adapta un modelo de generación de imágenes para producir habla.
- Comprobar la representación del habla
Antes de evaluar el generador, los autores comprobaron si el modelo de imágenes congelado podía representar el habla. Codificaron y decodificaron 100 intervenciones de LibriTTS seleccionadas como muestra y compararon las formas de onda reconstruidas con las originales.
Con una resolución de frecuencia F=512, los evaluadores midieron una alta inteligibilidad y similitud de hablante. Esto respalda la representación en esas muestras, pero no establece su eficacia para todo tipo de habla.
- Comparar los pesos iniciales
A continuación, los autores compararon generadores de habla preentrenados con imágenes e inicializados aleatoriamente. Los modelos compartían arquitectura, datos de entrenamiento de LibriTTS, objetivo y procedimiento, pero partían de pesos distintos.
El modelo preentrenado con imágenes alcanzó en 100,000 actualizaciones una pérdida de entrenamiento comparable a la que el modelo aleatorio obtuvo tras 150,000 actualizaciones. Esto indica un aprendizaje más rápido con la configuración evaluada.
- Medir las palabras generadas
Para comprobar las palabras generadas, un modelo de reconocimiento de voz evaluó 200 intervenciones de una división oficial de prueba en inglés. Cada sistema recibió los primeros tres segundos y generó el resto a partir de la transcripción. Tras 100,000 actualizaciones de entrenamiento, la tasa de error por palabra del reconocedor fue del 2.7% con preentrenamiento de imágenes y del 4.2% con inicialización aleatoria.
Esta comparación controlada respalda una ventaja de la inicialización con imágenes en la tarea de continuar el habla evaluada.
- Ampliar las pruebas
El sistema también se evaluó a mayor escala y con instrucciones de estilo. En una prueba en inglés que genera habla a partir de texto y una breve referencia de voz, ImageTTS-base obtuvo una tasa de error por palabra menor que la de dos sistemas principales entrenados con cantidades comparables de habla.
En una prueba de instrucciones de estilo con 200 ejemplos, Wav2Vec 2.0 predijo edad y género, mientras que PENN extrajo el tono y sus variaciones para clasificarlos. Los autores promediaron las precisiones por atributo y obtuvieron 0.66.
Estos resultados muestran transferencia en las tareas evaluadas, aunque la similitud de hablante sigue siendo una limitación, especialmente en el conjunto de prueba chino.
Detalles
- Autores del paper original
- Hanchen Pei, Shujie Liu, Yayue Deng, Fangyun Wei, Yanqing Liu
- Enviado a arXiv
- Licencia
- arXiv non-exclusive