IT
La voce normale di un parlante può attivare una backdoor in un modello vocale
You Are the Trigger: Speaker-Activated Backdoors · arXiv:2610.27210
In parole semplici
I ricercatori hanno creato un metodo per far reagire un modello vocale all’identità di chi parla. Prima addestrano il modello a usare l’identità del parlante, poi associano la voce di una persona a un output scelto, includendo anche parlato pulito di altre persone.
Nei test con due modelli vocali, le registrazioni normali di un parlante bersaglio hanno spesso attivato una frase sostitutiva fissa, mentre quelle di altri parlanti lo hanno fatto di rado. I risultati riguardano i modelli e i parlanti testati.
La ricerca
Se un modello vocale viene modificato di nascosto durante l’addestramento, la voce inalterata di una persona può attivare un comportamento che non compare nelle parole trascritte?
Molte backdoor audio richiedono che l’aggressore aggiunga o cambi un suono quando il modello viene usato; l’identità del parlante offre una diversa via di attivazione.
Il metodo Speaker-Activated Backdoor in due fasi rende più facile per i modelli vocali usare l’identità del parlante, poi associa il parlante bersaglio a un output scelto dall’aggressore.
Il metodo prima addestra un modello a usare l’identità del parlante, poi a produrre un output scelto per il bersaglio, includendo esempi puliti di altri parlanti. Nell’impostazione principale, il bersaglio era Judi Dench e il budget di 20 minuti includeva due minuti di audio reale del bersaglio.
Sulle tre esecuzioni, la sostituzione con una frase fissa ha riguardato il 90.2% delle clip del bersaglio escluse dall’addestramento con Whisper-medium e il 97.0% con Parakeet; l’attivazione media su altri parlanti è stata dell’1.7% e dello 0%.
Questi risultati mostrano che, in questa impostazione, i modelli testati potevano usare la voce normale del bersaglio per attivare un output fisso, con poca attivazione sul parlato di altri.
Questi risultati riguardano modelli e bersagli specifici, nelle condizioni di fine-tuning testate. Lo studio non stabilisce che gli stessi tassi di attivazione valgano per altri parlanti, modelli o modalità di adattamento.
Cosa mostrano le prove
- La voce come innesco
L’articolo introduce Speaker-Activated Backdoor, un metodo di fine-tuning in due fasi per modelli vocali. La domanda è se la voce naturale di un bersaglio possa attivare un comportamento scelto anche quando l’aggressore non può alterare l’audio al momento dell’uso del modello.
È diverso dagli attacchi audio che dipendono dall’aggiunta o dalla trasformazione di un suono nell’input.
- Due fasi, ruoli distinti
Il metodo prima addestra il modello a usare l’identità del parlante, poi la collega a un output scelto includendo parlato pulito di altri parlanti.
Gli autori misurano l’attivazione su registrazioni reali del bersaglio provenienti da sessioni escluse dall’addestramento: il comportamento riportato è quindi misurato su registrazioni mai viste, non su esempi sintetici usati per l’addestramento.
- Il parlato normale la attiva
Per la sostituzione con una frase fissa, i ricercatori riportano risultati con Whisper-medium e Parakeet, usando Judi Dench come bersaglio e due minuti di audio reale del bersaglio entro un budget di 20 minuti.
Sulle tre esecuzioni di addestramento, la quota media di clip del bersaglio escluse dall’addestramento che è stata sostituita è stata rispettivamente del 90.2% e del 97.0%; l’attivazione media sulle clip di altri parlanti è stata dell’1.7% e dello 0%.
- Il ruolo delle fasi dipende dal compito
Un confronto con lo stesso budget su Whisper-medium ha rilevato un successo simile nella sostituzione con una frase fissa per l’addestramento in due fasi e quello in una fase, ma meno errori di trascrizione pulita e nessuna attivazione osservata su parlanti non bersaglio nelle esecuzioni con la versione in due fasi.
Un controllo separato sulla riscrittura semantica ha rilevato che omettere la Fase 1 ha ridotto dal 35.0% al 12.6% la quota di clip modificabili del bersaglio con la negazione prevista. Questo risultato riguarda quel compito dipendente dal contenuto e l’impostazione testata.
- L’istruzione inserita può raggiungere un agente
Lo studio ha anche inviato trascrizioni con un’istruzione di bonifico inserita ad agenti separati che usano strumenti. Nel test sandbox, tutti e quattro gli agenti hanno effettuato bonifici su alcune trascrizioni in cui l’inserimento era riuscito.
Il tasso di esecuzione è stato calcolato solo sulle trascrizioni in cui l’inserimento era riuscito e variava in base sia al modello vocale sia all’agente a valle.
Dettagli
- Autori del paper originale
- Nataša Krčo, Euodia Dodd, Peter Romov, Yves-Alexandre de Montjoye
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive