FR
La voix ordinaire d’un locuteur peut activer une porte dérobée dans un modèle de parole
You Are the Trigger: Speaker-Activated Backdoors · arXiv:2610.27210
En termes simples
Les chercheurs ont créé une méthode qui apprend à un modèle de parole à tenir compte de la personne qui parle. D’abord, le modèle apprend à reconnaître l’identité du locuteur.
Ensuite, il associe la voix d’une personne à une sortie choisie, tout en s’entraînant aussi sur des paroles propres d’autres personnes. Dans les tests avec deux modèles de parole, des enregistrements ordinaires de la personne cible déclenchaient souvent une phrase de remplacement fixe, tandis que ceux d’autres personnes le faisaient rarement. Les résultats concernent les modèles et les locuteurs testés.
La recherche
Si un modèle de parole est modifié à son insu pendant l’entraînement, la voix non modifiée d’une personne peut-elle déclencher un comportement absent des mots transcrits ?
Beaucoup de portes dérobées audio nécessitent qu’un attaquant ajoute ou modifie un son au moment où le modèle est utilisé ; l’identité du locuteur ouvre une autre voie d’activation.
La Speaker-Activated Backdoor en deux phases apprend aux modèles de parole à mieux exploiter l’identité du locuteur, puis associe la voix cible à une sortie choisie par l’attaquant.
La méthode apprend d’abord au modèle à exploiter l’identité du locuteur, puis à produire une sortie choisie pour la personne cible tout en incluant des exemples propres d’autres voix. Dans le scénario principal, la cible était Judi Dench ; les chercheurs disposaient de deux minutes de ses enregistrements réels, dans un budget de 20 minutes.
Sur trois entraînements, le remplacement par une phrase fixe a concerné 90,2 % des extraits de la cible réservés au test avec Whisper-medium et 97,0 % avec Parakeet ; l’activation sur les autres voix atteignait en moyenne 1,7 % et 0 %.
Ces résultats indiquent que, dans les conditions testées, les modèles pouvaient utiliser la voix ordinaire d’une personne cible pour déclencher une sortie fixe, avec peu d’activations sur les paroles des autres.
Ces résultats portent sur des modèles et des personnes cibles précis, dans les conditions de réglage fin testées. L’étude n’établit pas que les mêmes taux d’activation s’appliquent à d’autres voix, modèles ou méthodes d’adaptation.
Ce que montrent les preuves
- La voix comme déclencheur
L’article présente la Speaker-Activated Backdoor, une méthode de réglage fin des modèles de parole en deux phases.
Il examine si la voix naturelle d’une personne cible peut déclencher un comportement choisi même lorsque l’attaquant ne peut pas modifier l’audio au moment où le modèle est utilisé. Cela diffère des attaques audio qui reposent sur l’ajout ou la transformation d’un son dans l’entrée.
- Deux phases, deux fonctions
La méthode apprend d’abord au modèle à exploiter l’identité du locuteur, puis associe la voix cible à une sortie choisie tout en incluant des paroles propres d’autres personnes. Les auteurs mesurent l’activation sur de vrais enregistrements de la cible issus de sessions exclues de l’entraînement.
Le comportement rapporté est donc évalué sur des enregistrements jamais vus, et non sur des exemples synthétiques d’entraînement.
- Des paroles ordinaires déclenchent la réponse
Pour le remplacement par une phrase fixe, les chercheurs ont testé Whisper-medium et Parakeet en ciblant Judi Dench, avec deux minutes de ses enregistrements réels dans un budget de 20 minutes d’audio cible.
Sur trois entraînements, la part moyenne des extraits de la cible réservés au test qui ont été remplacés était respectivement de 90,2 % et 97,0 % ; l’activation moyenne sur les extraits d’autres personnes était de 1,7 % et 0 %.
- L’effet des phases varie selon la tâche
À budget égal, une comparaison sur Whisper-medium a trouvé une réussite similaire pour le remplacement par phrase fixe avec une ou deux phases, mais moins d’erreurs de transcription propre et aucun déclenchement observé sur les voix non cibles dans les entraînements en deux phases.
Un contrôle distinct sur la réécriture sémantique a montré que l’omission de la première phase réduisait de 35,0 % à 12,6 % la part des extraits modifiables de la cible où la négation voulue était produite. Ce résultat concerne cette tâche dépendante du contenu et les conditions testées.
- Une instruction insérée peut atteindre un agent
L’étude a aussi transmis des transcriptions contenant une instruction de virement à des agents distincts capables d’utiliser des outils.
Dans le test isolé, chacun des quatre agents a effectué des virements à partir de certaines transcriptions où l’instruction avait été insérée avec succès. Le taux d’exécution ne portait que sur ces transcriptions et variait selon le modèle de parole et l’agent en aval.
Détails
- Auteurs de l’article original
- Nataša Krčo, Euodia Dodd, Peter Romov, Yves-Alexandre de Montjoye
- Soumis à arXiv
- Licence
- arXiv non-exclusive