Un audit en trois niveaux teste l’influence des indices de sécurité sur les garde-fous

Lorsqu’on évalue un garde-fou à partir d’exemples étiquetés, comment distinguer sa capacité à reconnaître les actions dangereuses d’une réaction aux indices présents dans la formulation des exemples ? Un indice qui prédit les étiquettes peut refléter la constitution des dossiers, des informations de sécurité légitimes, ou les deux. La prédiction seule ne permet donc pas de savoir si le garde-fou s’y fie.

L’audit des raccourcis passe de la vérification qu’un indice prédit les étiquettes publiées au test visant à déterminer si sa modification change la décision d’un garde-fou de sécurité des agents.

Les auteurs ont d’abord testé si des indices simples prédisaient les étiquettes publiées, puis vérifié si ces tendances se maintenaient d’un domaine et d’une unité d’évaluation à l’autre.

Ils ont constaté que la prédiction des étiquettes pouvait faiblir lorsqu’un domaine entier était tenu à l’écart, et que pondérer les interactions plutôt que les étapes modifiait les résultats des métriques d’AgentHarm.

Pour un test plus direct, ils ont modifié la formulation des marqueurs et les noms d’outils dans des dossiers fixes d’AgentDojo-Traj, puis comparé les décisions des garde-fous à celles prises sur les dossiers d’origine, en corrigeant l’effet d’un simple changement de mise en forme.

Le blocage par Claude Haiku 4.5 a changé, ce qui étaye l’idée que ces représentations ont influencé ses décisions sur cet échantillon ; des changements de même ampleur ne se sont pas reproduits avec Luna.

Le test par paires portait sur un échantillon fixe, non probabiliste, de 64 étapes issues de 58 interactions. Des évaluateurs à l’aveugle n’ont pas vérifié que les modifications préservaient le jugement de sécurité attendu.

Les effets montrent une sensibilité à ces modifications précises dans une seule configuration de garde-fou testée ; ils ne montrent pas que ces indices sont généralement sans rapport avec la sécurité.