Un modello vocale circoscrive l’allineamento per proteggere l’inglese

Quando un solo modello vocale serve lingue rappresentate da quantità molto diverse di dati di addestramento, un segnale utile per un gruppo può indebolirne un altro.

Resta da capire se allineare le rappresentazioni interne a quelle di un modello insegnante possa fornire indicazioni utili senza peggiorare il modello condiviso per l’inglese.

CAFE fa passare l’allineamento delle caratteristiche del modello insegnante attraverso adapter usati dal parlato non inglese, mantenendo il relativo aggiornamento fuori dall’encoder condiviso.

I ricercatori hanno prima confrontato un modello di riferimento, addestrato con trascrizioni e punteggi di output del modello insegnante, con una versione che aggiungeva la Centered Kernel Alignment (CKA), una funzione di perdita che allinea gli schemi delle caratteristiche del modello insegnante e di quello allievo.

Nell’Open ASR Leaderboard, i cui set di test misurano la trascrizione del parlato, la percentuale media di parole trascritte in modo errato è scesa per il gruppo multilingue ed è salita per quello inglese.

Calcolando la media degli ultimi sette checkpoint di ciascun sistema, CAFE ha ottenuto un tasso di errore del 9.03% nei sette set in inglese e del 7.00% nei nove set multilingue, contro il 9.67% e il 7.34% di Capacity, che usa gli stessi adapter ma non la funzione di perdita sulle caratteristiche.

CAFE ha ottenuto risultati migliori del modello di riferimento in entrambi i gruppi. Il confronto sostiene un beneficio dell’allineamento delle caratteristiche circoscritto in questa configurazione.

Ogni configurazione è stata addestrata una sola volta, quindi lo studio non mostra quanto varino i risultati tra esecuzioni ripetute.

Inoltre, nella valutazione principale, l’etichetta linguistica del set di test determina a quale adapter instradare il parlato; il confronto principale non usa una lingua prevista automaticamente.