In parole semplici
I codec vocali trasformano l’audio in sequenze di piccoli codici. In alcuni codec, il contenuto del parlato determina quanti codici vengono prodotti, quindi la lunghezza della sequenza è più difficile da prevedere dalla durata dell’audio.
RubatoCodec stabilisce un numero fisso di eventi in base alla durata dell’enunciato, ma colloca gli eventi in corrispondenza dei cambiamenti del suono. In un test di ricostruzione in inglese, il suo progetto adattivo ha avuto un tasso di errore sulle parole trascritte inferiore a quello di un progetto a frequenza fissa, allo stesso tasso nominale di eventi; tuttavia, le due configurazioni differivano per più aspetti.
La ricerca
Se i codici vocali si adattano ai cambiamenti del suono, come può un generatore di parlato sapere quanti codici richiederà un enunciato? Nei codec basati su soglia, il contenuto può cambiare il numero di codici, rendendo più difficile prevedere la lunghezza della sequenza dalla sola durata dell’audio.
Il paper valuta se sia possibile adattare i tempi mantenendo il numero legato alla durata dell’enunciato.
RubatoCodec fissa il numero di eventi vocali per enunciato e ne adatta i confini ai cambiamenti del suono, consentendo la decodifica incrementale.
Un codec vocale può adattare i tempi ai cambiamenti del suono mantenendo prevedibile il numero di codici in base alla durata dell’enunciato? L’allocazione basata su soglia può far variare il numero anche a impostazioni fisse.
RubatoCodec stabilisce un event budget in base alla durata dell’enunciato e adatta il punto in cui iniziano gli eventi.
Nel parlato letto in inglese, la sua architettura adattiva ha avuto un tasso di errore sulle parole trascritte inferiore a quello di un codec a frequenza fissa, con un tasso nominale di 12.5 eventi al secondo. La misura confronta il riconoscimento automatico dell’audio ricostruito con quello dell’audio originale.
Un controllo separato sulla collocazione ha prodotto risultati contrastanti tra le profondità del quantizzatore: ciò indica che i tempi adattivi possono essere utili, ma non prevalgono in ogni impostazione testata.
Il confronto principale tra architetture modifica insieme l’aggregazione degli eventi, la griglia temporale e l’upsampling del decoder; non può quindi dimostrare che il miglioramento sia dovuto alla sola collocazione adattiva.
I confronti usano un solo modello addestrato per configurazione; il test sulla collocazione usa un solo seed e parlato letto in inglese.
Analisi
Dettagli
- Autori del paper originale
- Chihiro Arata, Shohei Taniguchi, Gouki Minegishi, Kan Hatakeyama-Sato
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive