Un collegamento aiuta i sistemi di diarizzazione a seguire i parlanti oltre il limite degli slot
In parole semplici
Un sistema di diarizzazione in streaming assegna le etichette ai parlanti mentre avviene una conversazione, ma dispone di un numero fisso di slot. Se nel tempo parlano più persone di quante ne possa rappresentare, il sistema può riutilizzare uno slot e perdere traccia di chi riprende a parlare.
Il paper aggiunge un collegamento che non richiede addestramento e usa l’attività del sistema di diarizzazione e l’audio per associare nuovamente i tratti di parlato alle identità. Nelle sessioni con più di quattro parlanti, ha ridotto il tasso di errore del sistema a quattro slot dal 36.81% al 22.64%.
La ricerca
Quando un sistema di diarizzazione in streaming riutilizza lo slot di un parlante che è rimasto in silenzio, può continuare a rilevare il parlato ma perdere traccia di chi torna a parlare.
Quel limite gli impedisce di seguire più persone nel corso di una sessione, oppure limita soltanto quante può rappresentare nello stesso momento?
Gli autori aggiungono un collegamento causale che non richiede addestramento e riassegna i tratti di parlato di un sistema di diarizzazione congelato per seguire le identità oltre il limite dei suoi slot.
La domanda è se gli slot fissi di un sistema di diarizzazione in streaming limitino il numero totale di persone che può seguire, o solo quante può rappresentare contemporaneamente.
Quando lo slot di un parlante silenzioso viene riutilizzato, il sistema può continuare a rilevare il parlato, ma assegnare un’etichetta d’identità diversa alla persona che riprende a parlare.
Gli autori confrontano un sistema ospite congelato a quattro slot, con e senza un collegamento causale, nelle sessioni che superano il limite di quattro parlanti. In 505 di queste sessioni, il tasso di errore di diarizzazione aggregato e ponderato per durata è sceso dal 36.81% al 22.64%.
Poiché il collegamento riassegna soltanto le etichette del parlato rilevato dal sistema ospite, la riduzione riflette meno scambi di identità; per progettazione, il parlato non rilevato e i falsi rilevamenti non cambiano.
La valutazione comprende otto corpus, ma solo 53 sessioni avevano più di otto parlanti, perlopiù provenienti da tre corpus. Gli autori non formulano affermazioni sulla latenza e non hanno verificato gli abbinamenti a identità errate oltre i 23 parlanti osservati.
Analisi
Dettagli
- Autori del paper originale
- Aditya Srinivas Menon, Kumarmanas Nethil, Kavya Manohar
- Inviato ad arXiv
- Licenza
- CC BY-SA 4.0