Des attaques liées à la tâche révèlent des échecs manqués
On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection · arXiv:2610.32531
En termes simples
Une prompt injection est une instruction cachée dans un contenu extérieur qui tente de détourner un modèle de la tâche demandée par l’utilisateur. Cet article présente NTBench, un ensemble de tests qui vérifie si de telles instructions peuvent amener un modèle à donner une réponse liée à la tâche mais incorrecte, ou à accomplir une action nuisible.
Les tests partent de réponses légitimes, puis proposent et vérifient des écarts avant d’essayer les instructions. Dans les tâches linguistiques évaluées, chaque modèle testé a subi davantage d’attaques réussies visant ces résultats liés à la tâche que dans la comparaison à cible fixe. Ce constat vaut pour les tâches et les contrôles testés.
La recherche
Si un modèle rejette une instruction qui abandonne clairement la tâche de l’utilisateur, cela signifie-t-il qu’il résistera aussi à une instruction qui en préserve une grande partie, mais ajoute une erreur ou une action nuisible ?
Tester davantage d’instructions visant un seul résultat ne permet pas de savoir si d’autres résultats recherchés par un attaquant pourraient être obtenus.
NTBench construit et valide des cibles incorrectes ou nuisibles liées à la tâche, puis vérifie si leurs instructions révèlent des échecs que les attaques à cible fixe ne détectent pas.
NTBench vérifie si des instructions visant des résultats incorrects ou nuisibles liés à la tâche révèlent des faiblesses que les tests de prompt injection à cible fixe ne détectent pas.
Le benchmark construit des cibles candidates à partir de résultats légitimes, vérifie qu’elles constituent de véritables violations, puis teste si une instruction injectée les provoque.
Dans les tâches linguistiques, chaque modèle évalué a eu un taux de réussite des attaques plus élevé sur les deux volets à cibles proches que sur le niveau de référence à cible fixe, avec un maximum commun de trois tentatives.
Cela étaye la conclusion que le choix des résultats à tester influe sur les échecs révélés ; les approches utilisent des contrôles de réussite différents.
Ces résultats portent sur les tâches, les cibles générées, les modèles et les critères de réussite sélectionnés. Le benchmark encourage les cibles à rester liées à des résultats légitimes, mais n’impose aucune limite numérique de proximité.
Les comparaisons ne montrent pas non plus une hausse du taux de réussite pour un objectif d’attaque fixé.
Ce que montrent les preuves
- Tester les écarts liés à la tâche
NTBench, le Near-Target Benchmark, est un jeu de tests de red teaming consacré à la résistance aux prompt injections. Il vérifie si des instructions cachées dans un contenu non fiable peuvent amener un système à produire un résultat incorrect ou nuisible qui reste lié à la tâche de l’utilisateur.
Cette question compte, car le fait de rejeter des attaques qui abandonnent manifestement la tâche peut laisser d’autres résultats recherchés par un attaquant sans évaluation.
- Construire des cibles vérifiées
Pour chaque tâche, un LLM s’appuie sur un résultat de référence légitime pour proposer une cible et une instruction destinée à la provoquer. NTBench distingue les cibles qui introduisent des erreurs de celles qui répondent aux critères de nocivité.
Des contrôles par LLM et une validation humaine vérifient si chaque résultat proposé enfreint la tâche ou les critères retenus : une réponse simplement différente mais acceptable n’est donc pas considérée comme une violation.
- Comparer les résultats des attaques
L’évaluation compte un échantillon comme une réussite lorsqu’au moins une des trois attaques maximum provoque l’écart visé, et que ce même écart n’apparaît pas lors d’une exécution sans attaque. Sur sept modèles de langage et dix jeux de données, l’ASR@3 global des deux volets à cibles proches était supérieur à celui du niveau de référence à cible fixe pour chaque modèle.
L’ASR@3 correspond au pourcentage d’échantillons où une attaque réussit en trois tentatives maximum.
- Étendre la comparaison aux agents
Le même classement est apparu dans AgentDojo et AgentDyn, deux ensembles qui évaluent des workflows réalisés par des agents fondés sur des modèles de langage et pouvant inclure des appels d’outils. Dans les deux ensembles, les volets à cibles proches avaient un ASR@3 supérieur à celui du niveau de référence à cible fixe pour chaque modèle évalué ; le calcul portait sur les positions d’injection atteintes.
Pour compter un appel d’outil comme une réussite, l’évaluation vérifiait l’outil et ses principaux arguments, mais pas les effets ultérieurs de l’appel.
Détails
- Auteurs de l’article original
- Yuyang Gong, Zihao Wang, Jiawei Liu, XiaoFeng Wang
- Soumis à arXiv
- Licence
- arXiv non-exclusive