Les demandes traduites peuvent modifier les verdicts de sécurité des garde-fous d’agents
En termes simples
Certains logiciels vérifient le prochain appel d’un agent à un outil et le bloquent si l’action semble risquée compte tenu de la demande de l’utilisateur et des étapes précédentes. L’article présente LinguaGuardBench, un test qui vérifie si ces contrôles rendent le même verdict lorsque seule la demande est traduite.
La plupart des garde-fous ouverts, de petite taille ou conçus spécialement pour cette tâche ont davantage changé de verdict sous l’effet de la traduction qu’avec un simple changement d’espaces blancs. Pour un garde-fou, Nemotron Nano 9B, les demandes en amharique l’ont amené à bloquer moins d’étapes étiquetées comme risquées que les demandes en anglais. Ce résultat concerne les garde-fous et les étapes testés.
La recherche
Si le contrôle de sécurité d’un agent reçoit une demande dans une autre langue, jugera-t-il de la même façon la même action envisagée ? L’article cherche à savoir si la langue de la demande modifie le verdict du garde-fou, alors que l’action et le reste de l’étape étiquetée restent identiques.
LinguaGuardBench vérifie si la traduction de la seule demande utilisateur modifie le verdict des garde-fous pour une même étape étiquetée d’appel à un outil.
LinguaGuardBench vérifie si le jugement d’un garde-fou sur un appel à un outil envisagé dépend de la langue de la demande utilisateur.
Les auteurs ont traduit uniquement la demande dans chaque étape étiquetée, en gardant l’historique, l’action, les informations sur l’environnement et l’étiquette identiques, puis ont comparé les verdicts des garde-fous entre les langues.
La plupart des garde-fous ouverts, de petite taille ou conçus spécialement pour cette tâche ont changé de verdict au-delà des variations observées avec leur placebo. Les reformulations en anglais ont entraîné des changements plus faibles, ce qui étaye l’existence d’un effet propre à la langue.
Pour Nemotron Nano 9B, les demandes en amharique ont réduit la fréquence à laquelle le garde-fou bloquait correctement les étapes étiquetées comme risquées. C’est une conséquence concrète de ces changements dans un cas donné.
Le benchmark réutilise des étapes déjà étiquetées et n’exécute pas les appels aux outils. De plus, les intervalles d’incertitude des auteurs sont peut-être trop étroits : ils regroupent les résultats par trajectoire, alors que la traduction est appliquée à chaque instruction.
Analyse
Détails
- Auteurs de l’article original
- Hasan Demirkiran, Jens Ernstberger
- Soumis à arXiv
- Licence
- arXiv non-exclusive