FR
Les modèles de génération d’images peuvent aider un système vocal à apprendre les mots
ImageTTS: Repurposing Pretrained Image Diffusion Transformers for Speech Synthesis · arXiv:2610.34807
En termes simples
ImageTTS est un système qui produit de la parole en adaptant un modèle entraîné à générer des images. Il transforme la parole en une carte sonore qui ressemble à une image, la compresse avec un modèle d’image figé, puis entraîne un modèle de génération d’images à produire de la parole à partir d’un texte et, dans un mode, d’un échantillon de voix de référence.
Lors d’un test comparatif, le modèle entraîné sur des images a produit moins d’erreurs de reconnaissance des mots que le même type de modèle initialisé avec des poids aléatoires. Ce résultat vaut pour les échantillons et les conditions d’entraînement évalués.
La recherche
La synthèse vocale doit produire les mots demandés tout en préservant l’identité d’un locuteur à partir d’un court échantillon de référence.
On ne sait pas encore clairement si un modèle entraîné sur des images peut transférer à cette tâche des représentations et des connaissances de génération utiles.
ImageTTS adapte un modèle de génération d’images à la parole ; des tests comparatifs indiquent que le préentraînement sur des images améliore l’apprentissage et la précision des mots par rapport à une initialisation aléatoire.
Les auteurs cherchent à savoir si un modèle de génération d’images peut aider un système de synthèse vocale à préserver les mots et l’identité du locuteur.
ImageTTS représente la parole sous forme de cartes sonores semblables à des images, puis adapte un générateur entraîné sur des images pour produire de la parole à partir d’un texte et, en synthèse zero-shot, d’un échantillon vocal de référence.
Dans une comparaison d’entraînement à conditions égales sur LibriTTS, le modèle préentraîné sur des images a appris plus vite qu’un modèle initialisé aléatoirement. Sur 200 énoncés de test en anglais, après le même nombre de 100 000 mises à jour, un système de reconnaissance vocale a mesuré un taux d’erreur de 2,7 % pour le modèle préentraîné et de 4,2 % pour le modèle aléatoire. Ces résultats étayent un avantage du préentraînement sur des images dans les conditions évaluées.
Les résultats proviennent de jeux de données vocaux et de conditions d’évaluation précis.
Les auteurs signalent aussi une similarité vocale plus faible sur le jeu de test chinois Seed-TTS et attribuent cet écart au fait que le VAE d’image figé ne préserve pas entièrement les informations d’identité ; ils n’ont pas vérifié cette explication séparément.
Ce que montrent les preuves
- Les modèles d’image peuvent-ils aider la parole ?
La génération de parole doit restituer correctement les mots et, lorsqu’une voix de référence est fournie, préserver l’identité du locuteur. ImageTTS permet d’évaluer si un modèle entraîné à générer des images peut aider à répondre à ces exigences.
Le système convertit la parole en spectrogrammes semblables à des images, utilise un modèle d’image figé pour les représenter, puis adapte un modèle de génération d’images à la production de parole.
- Vérifier la représentation de la parole
Avant d’évaluer le générateur, les auteurs ont vérifié si le modèle d’image figé pouvait représenter la parole. Ils ont encodé puis décodé 100 énoncés LibriTTS échantillonnés et comparé les formes d’onde reconstruites aux originales.
Avec une résolution fréquentielle F=512, les évaluations ont relevé une forte intelligibilité et une forte similarité du locuteur. Cela étaye l’utilité de la représentation pour ces échantillons, sans établir qu’elle convient à tous les types de parole.
- Comparer les poids de départ
Les auteurs ont ensuite comparé des générateurs vocaux préentraînés sur des images à des générateurs initialisés aléatoirement. Les modèles partageaient la même architecture, les mêmes données d’entraînement LibriTTS, le même objectif et la même procédure ; seuls leurs poids de départ différaient.
En 100 000 mises à jour, le modèle préentraîné sur des images a atteint une perte d’entraînement comparable à celle du modèle aléatoire après 150 000 mises à jour. Cela indique un apprentissage plus rapide dans les conditions testées.
- Mesurer la justesse des mots produits
Pour vérifier les mots produits, un modèle de reconnaissance vocale a évalué 200 énoncés issus d’une partition officielle de test en anglais. Chaque système recevait les trois premières secondes et générait la suite à partir de la transcription.
Après 100 000 mises à jour, le WER mesuré par le système de reconnaissance était de 2,7 % avec le préentraînement sur des images et de 4,2 % avec l’initialisation aléatoire. Cette comparaison à conditions égales indique un avantage du préentraînement sur des images pour la tâche de continuation évaluée.
- Étendre les évaluations
Le système a aussi été évalué à plus grande échelle et avec des instructions de style. Sur un test en anglais où la parole est générée à partir d’un texte et d’un court échantillon vocal, ImageTTS-base a obtenu un WER inférieur à celui de deux principaux systèmes entraînés sur des quantités comparables de parole.
Pour un test de 200 exemples guidés par le style, Wav2Vec 2.0 a prédit l’âge et le genre, tandis que PENN a extrait la hauteur de la voix et ses variations pour les classer. Les auteurs ont calculé la moyenne des précisions par attribut, obtenant 0,66.
Ces résultats montrent un transfert pour les tâches évaluées, mais la similarité du locuteur reste une limite, en particulier sur le jeu de test chinois.
Détails
- Auteurs de l’article original
- Hanchen Pei, Shujie Liu, Yayue Deng, Fangyun Wei, Yanqing Liu
- Soumis à arXiv
- Licence
- arXiv non-exclusive