En termes simples
On peut évaluer les garde-fous d’un agent d’IA en vérifiant s’ils repèrent l’agent lorsqu’il essaie d’accomplir une tâche secondaire nuisible pendant un travail légitime. Mais des attaques menées dans un environnement de test séparé risquent de ne pas ressembler aux tâches et aux outils du déploiement réel.
Cet article présente les évaluations de contrôle simulées : un modèle de langage imite les réponses des outils à partir de données du déploiement, tandis qu’un juge distinct estime si l’attaque a réussi. Sur LinuxArena, ces évaluations ont prédit la sécurité plus précisément que les attaques exécutées dans BashArena, un autre environnement de test.
La recherche
Si l’on teste un garde-fou sur des tâches différentes de celles que rencontrera un agent, ce test peut-il nous dire s’il détectera les attaques rendues possibles par ces tâches ?
Exécuter des attaques sur des systèmes en service risque de provoquer les dommages mesurés. Les auteurs demandent donc si les données du déploiement peuvent rendre les tests plus pertinents tout en évitant ce risque.
Les auteurs présentent les évaluations de contrôle simulées, qui s’appuient sur des données du déploiement pour simuler les réponses des outils et estimer si les garde-fous détectent les actions nuisibles d’un agent.
Les auteurs évaluent cette méthode sur LinuxArena, où les attaques peuvent être exécutées afin d’en établir les résultats. Les chercheurs comparent les attaques simulées sur LinuxArena aux attaques exécutées dans BashArena pour prédire la sécurité sur LinuxArena.
Ils gardent la même stratégie d’attaque, la même limite de longueur de trajectoire et les mêmes moniteurs, mais les tâches et le réalisme des réponses des outils diffèrent.
Avec un budget d’audit de 5 %, c’est-à-dire lorsque 5 % des trajectoires honnêtes sont signalées pour examen, l’erreur de prédiction de la sécurité pour cinq moniteurs est de 3.6 points de pourcentage avec les SCE et de 10.1 avec BashArena.
La mesure de sécurité évalue si une attaque est détectée avant de réussir sans être repérée. Le résultat étaye une meilleure prédiction dans cet essai.
Le principal résultat de précision repose sur LinuxArena. Les résultats simulés dépendent à la fois du simulateur et d’un juge distinct, qui estime si les attaques ont réussi. L’étude suppose que le simulateur est digne de confiance.
Analyse
Détails
- Auteurs de l’article original
- Jeffrey Olmo, David Zhang, Tyler Tracy
- Soumis à arXiv
- Licence
- CC BY 4.0