Il punteggio di gruppo aiuta i modelli vocali a evitare gli errori del teacher
Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR · arXiv:2610.32572
In parole semplici
I sistemi che riconoscono il parlato possono fare fatica con audio di un nuovo settore, anche quando si dispone dell’audio ma non delle trascrizioni. Un modello teacher più grande può produrre trascrizioni approssimative, ma uno student addestrato a copiarne ogni parola può imparare anche gli errori del teacher.
L’articolo prova un approccio diverso: usare le trascrizioni approssimative per valutare diverse possibili trascrizioni dello student, invece di insegnargli che ogni parola è corretta. Su un set di test bancario, questo approccio ha avuto un word error rate inferiore rispetto all’addestramento standard sulle trascrizioni dello stesso teacher.
La ricerca
Quando non esistono trascrizioni per l’audio di un nuovo settore, si può addestrare un sistema di riconoscimento usando le trascrizioni approssimative di un modello teacher.
Ma se l’addestramento tratta ogni parola come corretta, come può lo student adattarsi senza imparare semplicemente gli errori del teacher?
GRPO adatta un sistema di riconoscimento del parlato valutando trascrizioni campionate rispetto a riferimenti generati automaticamente, riducendo quanto impara dai loro errori.
Gli autori hanno confrontato GRPO con SFT usando le stesse pseudo-etichette di Whisper Tiny per l’audio bancario. Sul test bancario di DefinedAI, valutato rispetto a trascrizioni corrette, GRPO ha avuto un word error rate del 14.06%, contro il 32.11% di SFT.
Questo risultato mostra un errore di test inferiore in quella condizione; le verifiche sulla copia degli errori forniscono inoltre indizi sulle differenze tra i metodi.
Le trascrizioni corrette hanno permesso di individuare le parole errate nelle pseudo-etichette. GRPO diretto ne ha ripetute meno di SFT, e queste parole comparivano meno spesso nelle trascrizioni candidate campionate.
Questo andamento è coerente con il meccanismo proposto: una parola errata prodotta di rado dalle candidate influisce meno sui loro punteggi relativi.
Il confronto bancario modifica sia la procedura di addestramento sia il tasso di apprendimento, e l’articolo non specifica se i due modelli student partissero dallo stesso checkpoint. I risultati riguardano i dati e le condizioni di addestramento testati.
Nei quattro contesti linguistici in cui lo student addestrato in inglese non riusciva a produrre i sistemi di scrittura richiesti, GRPO ha inoltre richiesto una fase iniziale di addestramento supervisionato.
Cosa mostrano le prove
- Il rischio delle trascrizioni approssimative
I sistemi di riconoscimento automatico del parlato (ASR) possono funzionare male con audio di un nuovo settore, per il quale potrebbero non esserci trascrizioni. Una soluzione comune consiste nel far trascrivere l’audio a un modello teacher e poi addestrare uno student su queste pseudo-etichette generate automaticamente.
Ma l’addestramento supervisionato fine-tuning (SFT) tratta come corretta ogni parola della pseudo-etichetta, trasformando gli errori del teacher in obiettivi di addestramento per lo student.
- Valutare insieme le alternative
L’articolo propone Group Relative Policy Optimization (GRPO), un metodo per adattare uno student ASR usando le pseudo-etichette come riferimenti per assegnare punteggi. Per ogni enunciato, lo student produce quattro trascrizioni candidate.
GRPO le valuta rispetto alla pseudo-etichetta e confronta i punteggi all’interno del gruppo, invece di addestrare lo student a prevedere ogni parola della pseudo-etichetta. Quando tutte le candidate commettono la stessa omissione, la penalità condivisa si annulla nel confronto dei punteggi relativi.
- Test bancario e verifica degli errori
Sul set di test bancario di DefinedAI, GRPO addestrato con pseudo-etichette di Whisper Tiny ha avuto un word error rate del 14.06%, contro il 32.11% di SFT addestrato sulle stesse pseudo-etichette. Gli autori hanno anche verificato quanto spesso gli student ripetessero gli errori delle pseudo-etichette: GRPO diretto ha inserito meno parole errate nelle trascrizioni finali rispetto a SFT, e quegli errori comparivano meno spesso tra le trascrizioni campionate.
Queste osservazioni supportano la spiegazione proposta del perché il punteggio di gruppo possa ridurre la copia degli errori.
- Con trascrizioni corrette, il risultato cambia
Nel controllo bancario con trascrizioni corrette per l’addestramento, l’ordine dei risultati è cambiato: SFT seguito da GRPO ha avuto il word error rate più basso, mentre GRPO diretto ha avuto il più alto tra i tre approcci testati.
Questo confronto supporta l’interpretazione degli autori secondo cui il vantaggio di GRPO rispetto a SFT è legato a riferimenti rumorosi, anziché essere un vantaggio generale quando le trascrizioni di addestramento sono corrette.
- In quali contesti si estendono i risultati
Lo stesso andamento riportato compare nei test dei settori sanitario e assicurativo, con pseudo-etichette di Whisper Large-V3. Nei test di quattro lingue con poche risorse, il character error rate è sceso quando GRPO è stato applicato dopo SFT.
GRPO diretto non è stato testato per queste lingue perché, all’inizio, lo student addestrato in inglese non riusciva a produrne i sistemi di scrittura; prima era necessario usare SFT per stabilire quello richiesto.
Dettagli
- Autori del paper originale
- Shashi Kumar, Yanis Labrak, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek
- Inviato ad arXiv
- Licenza
- CC BY 4.0