FR
Des portes d’attention apprises réduisent l’injection d’instructions dans deux modèles ouverts
Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness · arXiv:2610.37657
En termes simples
Les modèles doivent parfois lire les résultats d’outils ou d’autres contenus externes, mais ces contenus peuvent contenir des instructions qu’ils ne devraient pas suivre. Heads of Security (HoS) est une défense qui apprend quelles parties du modèle devraient moins tenir compte de ces instructions, tout en laissant d’autres parties traiter le contenu.
Dans un test, un attaquant adaptatif a réussi sur 10 % des objectifs mis de côté pour l’évaluation face à GPT-OSS-20B avec HoS, contre 97,2 % face au modèle sans défense. Ce résultat vaut pour cet attaquant et cette configuration de test.
La recherche
Lorsqu’un modèle de langue lit la sortie d’un outil, il peut avoir besoin de l’information sans devoir obéir aux instructions qu’un attaquant y a dissimulées. On ne sait pas encore clairement si une défense peut imposer cette distinction tout en laissant le modèle traiter le contenu.
HoS apprend des portes d’attention par tête pour limiter le suivi d’instructions injectées tout en laissant les modèles traiter le contenu externe.
Le défi consiste à laisser un modèle utiliser les informations d’un contenu externe sans traiter les instructions qui y sont dissimulées comme des commandes.
HoS s’y attaque en apprenant des portes d’attention : certaines têtes du modèle peuvent moins tenir compte du contenu non fiable, tandis que d’autres continuent à le traiter.
Face à un attaquant adaptatif entraîné contre SecAlign, l’attaque a réussi sur 10,0 % de 100 objectifs InjecAgent mis de côté pour l’évaluation, contre GPT-OSS-20B avec HoS, contre 85,2 % avec SecAlign et 97,2 % sans défense.
L’attaque est considérée comme réussie si l’outil de l’attaquant est nommé dans le premier appel d’outil du modèle ; les taux sont des moyennes de cinq essais avec un effort de raisonnement moyen.
Ces résultats portent sur deux modèles à poids ouverts, ainsi que sur les attaques et les tâches évaluées. HoS dépend d’une frontière de confiance correctement définie, et des évaluations limitées ne peuvent exclure qu’un adversaire capable réussisse une attaque.
Ce que montrent les preuves
- Séparer les données des instructions
Heads of Security (HoS) est une défense contre l’injection d’instructions qui aide les modèles de langue à traiter le contenu externe comme une donnée plutôt que comme une instruction autorisée. C’est utile lorsqu’un modèle lit la sortie d’un outil : il peut avoir besoin des informations qu’elle contient tout en ignorant les instructions destinées à détourner ses actions.
L’article examine si un modèle peut séparer ces deux rôles sans perdre sa capacité à utiliser le contenu.
- Apprendre une porte pour chaque tête
HoS répartit les jetons entre les catégories fiable, non fiable et gabarit de conversation, puis apprend des portes d’attention pour chaque tête d’attention. Certaines têtes peuvent moins tenir compte des jetons non fiables, tandis que d’autres continuent à les traiter.
Le système reçoit sa frontière de confiance de l’extérieur ; HoS ne détermine pas quelles sources ou instructions méritent confiance.
- Entraîner le modèle sur des réponses concurrentes
Les auteurs entraînent les portes à partir de paires de réponses préférées : l’une suit l’instruction de l’utilisateur, l’autre une instruction injectée. Ils comparent HoS à SecAlign, qui utilise le même jeu de préférences, mais comporte d’autres éléments entraînables et place le texte non fiable différemment.
Cette comparaison situe les résultats sans laisser entendre que toutes les conditions d’entraînement étaient identiques.
- Mesurer la résistance à l’attaque
Dans un test d’attaque adaptative, un attaquant entraîné contre SecAlign a réussi sur 10 % de 100 objectifs InjecAgent mis de côté pour l’évaluation, face à HoS sur GPT-OSS-20B. Le même attaquant a réussi sur 85,2 % des objectifs face à SecAlign et sur 97,2 % face au modèle sans défense.
Les taux de réussite sont des moyennes de cinq essais avec un effort de raisonnement moyen ; ils renseignent donc sur cet attaquant et cette configuration d’évaluation.
- Évaluer l’utilité et la suppression uniforme
Les auteurs ont également vérifié les performances en questions-réponses courantes : sur les questions MMLU-Pro accompagnées de cinq exemples, GPT-OSS-20B avec HoS a atteint une exactitude de 67,2 %, proche des 68,3 % du modèle de base ; SecAlign a obtenu 59,4 %.
Une comparaison distincte sur AgentDojo et AgentDyn a montré que les portes apprises pouvaient offrir un équilibre différent entre l’accomplissement des tâches légitimes et la réussite des tâches injectées par rapport à une suppression uniforme fixe.
Dans cette comparaison sur GPT-OSS-20B, AgentDojo excluait les tâches utilisateur Workspace 35 et 38, car elles peuvent dépasser la limite de contexte du modèle de base ; aucune tâche n’était exclue d’AgentDyn. Ensemble, ces résultats étayent un cas limité en faveur de HoS, sans garantir son efficacité pour toutes les tâches ou attaques.
Détails
- Auteurs de l’article original
- Igor Shilov, Xiaoxue Yang, Alexander Panfilov, Evgenii Kortukov, Matthieu Meeus
- Soumis à arXiv
- Licence
- CC BY 4.0