Un nouveau test distingue le fait de voir une attaque de celui de la mener à bien

Quand un agent travaille avec des fichiers et des messages partagés, un attaquant peut ne contrôler que certaines ressources, que l’agent n’ouvrira peut-être jamais. S’il rencontre une instruction malveillante, l’ignore-t-il ou la prend-il pour une autorisation ?

Mesurer seulement si le travail demandé a été accompli ne permet pas de répondre à cette question de sécurité.

APEX-Harm teste comment des instructions présentes dans un espace partagé atteignent des agents chargés de longues tâches et mesure séparément leur exposition aux attaques et les actions non autorisées, dans six catégories d’attaque.

Les auteurs ont constitué 180 cas d’attaque à partir de 15 tâches professionnelles, en faisant varier la manière dont des instructions ou des scripts malveillants parviennent à un agent.

Les évaluateurs ont mesuré séparément si les réponses des outils contenaient des instructions injectées, si des actions non autorisées réussissaient et si les agents satisfaisaient aux critères de la tâche.

Sur 12 modèles, le remplacement de scripts auxiliaires propres à une tâche a atteint un taux de réussite moyen de 84 % pour les attaques déclenchant une action directe et de 81 % lorsque des informations obtenues pendant l’exécution étaient nécessaires.

Opus 5 a rencontré des instructions statiques injectées dans 97 % des exécutions, mais les attaques n’ont réussi que dans 7 % des cas : l’exposition et l’action sont deux résultats distincts.

Les résultats portent sur 15 tâches en banque d’investissement, droit et conseil, sur certains types d’attaques et des scénarios d’autorisation synthétiques.

Chaque modèle et chaque cas d’attaque n’ont été testés qu’une fois : les résultats ne montrent pas les variations d’un essai à l’autre et ne permettent pas d’établir comment les agents se comportent dans d’autres domaines.