FR
Les scores seuls ne tranchent pas les décisions face aux injections de prompt
From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection · arXiv:2610.20907
En termes simples
Une injection de prompt est un texte non fiable qui cherche à détourner une application d’IA en lui donnant des instructions. Cette étude évalue si un score d’attaque peut aider un système à autoriser, bloquer ou transmettre une entrée à un évaluateur.
Les chercheurs ont figé les réglages de notation et de décision, puis testé ensemble des attaques et des exemples bénins. Au point où les systèmes manquaient au plus 1% des attaques dans ce mélange de test, ils envoyaient presque toutes les entrées en revue et bloquaient encore beaucoup d’entrées bénignes.
Le résultat montre que le score seul ne suffit pas à déterminer les performances du système complet.
La recherche
Lorsqu’une entrée peut contenir une injection de prompt, un score de probabilité peut-il indiquer au système s’il doit la laisser passer, la bloquer ou la soumettre à une revue ? Un bon classement peut aider à repérer les attaques, mais la décision finale dépend aussi de l’adéquation entre le niveau de confiance et les entrées réellement observées, ainsi que de la façon dont l’évaluateur traite les cas différés.
Cette étude évalue si les probabilités d’attaque peuvent guider les décisions d’autorisation, de blocage et de revue dans une chaîne figée associant un filtre à un évaluateur.
Les chercheurs ont figé les filtres de notation des attaques, leurs réglages d’autorisation, de blocage et de revue, ainsi qu’un évaluateur fondé sur un modèle de langage, avant de tester 47,611 exemples issus de quatre collections d’injection de prompt. Seules les entrées différées étaient transmises à l’évaluateur pour la décision finale.
Dans ce mélange, atteindre un taux observé d’attaques manquées d’au plus 1% exigeait de transmettre 91.89% à 92.55% des entrées à la revue ; 40.55% à 45.84% des entrées bénignes restaient bloquées.
Le score du filtre ne détermine donc pas à lui seul le nombre de faux positifs : le comportement de l’évaluateur et les réglages de décision comptent aussi.
La cohorte de confirmation est un mélange construit délibérément, composé à 88.2% d’attaques ; ses taux globaux ne prédisent donc pas la prévalence en conditions réelles.
L’étude rapporte des estimations ponctuelles sans intervalles de confiance et mesure la détection et l’orientation vers une revue, pas la compromission ultérieure d’un agent ni les dommages qui pourraient en découler.
Ce que montrent les preuves
- Ce qu’un score de détection doit apporter
Une injection de prompt est un texte non fiable qui cherche à détourner une application d’IA. Cet article évalue si les scores de probabilité d’attaque peuvent guider la décision d’autoriser une entrée, de la bloquer ou de la transmettre à un évaluateur.
Un score élevé peut aider à classer les attaques, mais son degré de confiance doit aussi correspondre aux résultats observés, et la décision finale dépend du traitement des cas différés. L’étude examine cette question sur un ensemble varié de cas d’injection de prompt.
- Comment la comparaison a été figée
Pour éviter que les résultats de confirmation influencent le système évalué, les auteurs ont choisi les prompts, les réglages des modèles, les ajustements des scores, le seuil de l’évaluateur et les intervalles de décision du filtre à partir de données distinctes, puis ont figé ces choix.
Chaque filtre autorise, bloque ou diffère une entrée ; seuls les cas différés parviennent à l’évaluateur fixe fondé sur un modèle de langage. Le test final regroupe 47,611 exemples de quatre collections sélectionnées à l’avance, mais 88.2% sont des attaques : ce mélange assemblé délibérément n’est donc pas une estimation de leur prévalence naturelle.
- Le classement varie selon le modèle
Pour comparer le classement des attaques, les chercheurs calculent l’AUROC, une mesure allant de 0 à 1 qui indique à quelle fréquence une attaque obtient un score supérieur à celui d’un exemple bénin, sur différents seuils ; 1 représente un ordre parfait.
Sur les exemples regroupés, l’évaluateur fondé sur un modèle de langage obtient 0.897, Jev 0.871, et les classificateurs Prompt Guard 2 86M et 22M obtiennent respectivement 0.757 et 0.714. La mesure est calculée sur les exemples regroupés, et non comme une moyenne des collections ; la comparaison n’isole pas les objectifs d’entraînement.
- La confiance donne un bilan contrasté
La calibration vérifie si les probabilités attribuées correspondent à la fréquence réelle des attaques : par exemple, parmi les entrées notées 0.8, environ 80% devraient être des attaques. Après un ajustement des probabilités sur des données cibles distinctes, les scores natifs de Jev ont une erreur de calibration attendue plus faible que ceux de Prompt Guard 2 86M (0.541 contre 0.571), un score de Brier presque identique (0.440 contre 0.439), mais une log-vraisemblance négative plus élevée (1.432 contre 1.104). Une valeur plus basse est préférable pour ces mesures ; le bilan est donc contrasté.
- La revue modifie l’arbitrage du système
Avec le même évaluateur, les trois filtres ont dû transmettre plus de 91.8% de toutes les entrées de confirmation à la revue pour atteindre un taux observé d’attaques manquées d’au plus 1%. À ces points, entre 40.55% et 45.84% des entrées bénignes étaient encore bloquées.
Cela montre pourquoi l’évaluateur et les réglages de décision comptent autant que le score du filtre : la calibration seule ne garantit pas une décision de sécurité utile.
Détails
- Auteurs de l’article original
- Qianlong Lan, Anuj Kaul, Vinothini Pandurangan, Indranil Sanyal
- Soumis à arXiv
- Licence
- CC BY 4.0