IT
I modelli di generazione delle immagini possono aiutare a imparare le parole del parlato
ImageTTS: Repurposing Pretrained Image Diffusion Transformers for Speech Synthesis · arXiv:2610.34807
In parole semplici
ImageTTS è un sistema che crea parlato adattando un modello addestrato a generare immagini. Trasforma il parlato in una mappa del suono simile a un'immagine, la comprime con un modello per immagini congelato, poi addestra un modello di generazione delle immagini a produrre parlato dal testo e, in una modalità, da una voce di riferimento.
In un confronto controllato, il modello addestrato su immagini ha commesso meno errori di riconoscimento delle parole rispetto allo stesso tipo di modello inizializzato con pesi casuali. Il risultato vale per i dati vocali e il contesto di addestramento esaminati.
La ricerca
La sintesi vocale deve produrre le parole richieste e conservare l'identità di un parlante a partire da un breve campione di voce. Non è ancora chiaro se un modello addestrato su immagini possa trasferire al parlato rappresentazioni e conoscenze di generazione utili.
ImageTTS adatta un modello di generazione delle immagini al parlato; nei confronti controllati, l'inizializzazione su immagini migliora l'apprendimento e la precisione delle parole rispetto a quella casuale.
Gli autori chiedono se un modello di generazione delle immagini possa aiutare la sintesi vocale a conservare le parole e l'identità del parlante.
ImageTTS rappresenta il parlato come mappe del suono simili a immagini, poi adatta un generatore addestrato su immagini a produrre parlato dal testo e, nella sintesi zero-shot, da una voce di riferimento.
In un confronto controllato di addestramento su LibriTTS, il modello preaddestrato su immagini ha imparato più rapidamente di quello inizializzato casualmente. Su 200 enunciati di test in inglese, con lo stesso numero di 100,000 aggiornamenti, un sistema di riconoscimento vocale ha rilevato un WER del 2.7% per il modello preaddestrato e del 4.2% per quello casuale. Questo indica un vantaggio dell'inizializzazione su immagini nel contesto esaminato.
Le evidenze provengono da specifici dataset vocali e contesti di valutazione. Gli autori riportano anche una minore somiglianza con il parlante nel test cinese Seed-TTS e attribuiscono questa differenza al fatto che il VAE per immagini congelato non conserva del tutto le informazioni sull'identità; non hanno verificato separatamente questa spiegazione.
Cosa mostrano le prove
- I modelli per immagini possono aiutare il parlato?
La generazione vocale deve pronunciare correttamente le parole e, quando riceve una voce di riferimento, conservarne l'identità. ImageTTS è un framework che verifica se un modello addestrato a generare immagini può aiutare con queste esigenze.
Converte il parlato in spettrogrammi simili a immagini, li rappresenta con un modello per immagini congelato e adatta un modello di generazione delle immagini a produrre parlato.
- Verificare la rappresentazione del parlato
Prima di valutare il generatore, gli autori hanno verificato se il modello per immagini congelato riuscisse a rappresentare il parlato. Hanno codificato e decodificato 100 enunciati selezionati da LibriTTS, poi hanno confrontato le forme d'onda ricostruite con quelle originali.
Alla risoluzione di frequenza F=512, i valutatori hanno misurato un'elevata intelligibilità e somiglianza del parlante. Questo sostiene l'utilità della rappresentazione per quei campioni, ma non ne verifica l'efficacia su una gamma più ampia di parlato.
- Confrontare i pesi iniziali
Gli autori hanno poi confrontato generatori vocali preaddestrati su immagini e generatori inizializzati casualmente. I modelli condividevano architettura, dati di addestramento LibriTTS, obiettivo e procedura, ma partivano da pesi diversi.
In 100,000 aggiornamenti, il modello preaddestrato su immagini ha raggiunto una loss di addestramento paragonabile a quella raggiunta dal modello casuale dopo 150,000 aggiornamenti. Questo indica un apprendimento più rapido nel contesto di addestramento esaminato.
- Misurare le parole generate
Per verificare le parole generate, un modello di riconoscimento vocale ha valutato 200 enunciati da una partizione ufficiale di test in inglese. Ogni sistema ha ricevuto i primi tre secondi e ha generato il resto a partire dalla trascrizione.
A 100,000 aggiornamenti di addestramento, il WER misurato dal sistema di riconoscimento era 2.7% con il preaddestramento su immagini e 4.2% con l'inizializzazione casuale. Questo confronto controllato indica un vantaggio dell'inizializzazione su immagini nel compito di continuazione esaminato.
- Estendere le valutazioni
Il framework è stato valutato anche su scala più ampia e con istruzioni sullo stile. In un test in inglese che genera parlato da testo e da un breve riferimento vocale, ImageTTS-base ha ottenuto un WER inferiore a quello di due sistemi principali addestrati su quantità comparabili di parlato.
In un test di 200 esempi con istruzioni sullo stile, Wav2Vec 2.0 ha predetto età e genere, mentre PENN ha estratto l'altezza e la sua variazione per classificarle. La media delle accuratezze sui singoli attributi calcolata dagli autori è stata 0.66.
I risultati mostrano un trasferimento tra i compiti esaminati; la somiglianza del parlante resta però un limite, soprattutto nel test cinese.
Dettagli
- Autori del paper originale
- Hanchen Pei, Shujie Liu, Yayue Deng, Fangyun Wei, Yanqing Liu
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive