FR
Des Skills vérifiées peuvent tout de même se combiner et entraîner des violations de règles
CoSA: The Conflict of Skills Attack in Real-World LLM Agent Ecosystems · arXiv:2610.35082
En termes simples
Un agent peut utiliser des Skills, qui lui donnent des instructions ou des opérations pour accomplir une tâche. Même si chaque Skill passe son propre contrôle de sécurité, les informations ou les décisions échangées entre plusieurs Skills peuvent tout de même contribuer à enfreindre une règle.
L’article présente CoSA, une méthode qui ajoute un nombre limité de Skills vérifiées et conçues pour interagir avec celles déjà présentes. Dans les tâches fixes évaluées, les violations étaient plus fréquentes avec ces ajouts qu’avec les répertoires d’origine, en moyenne pour les modèles et les configurations d’agents testés.
La recherche
Si chaque Skill passe ses propres contrôles de sécurité au niveau du paquet, un processus peut-il quand même enfreindre la règle de sa tâche lorsqu’une Skill transmet des informations ou des décisions à une autre ?
L’article examine si cette réutilisation entre Skills peut contribuer à des violations concrètes et si des ajouts soigneusement sélectionnés peuvent révéler ce risque lorsque les agents choisissent eux-mêmes leurs Skills.
CoSA construit un nombre limité de Skills vérifiées pour révéler des interactions risquées ; sur des tâches appariées, les répertoires augmentés présentent des taux de violation jugés plus élevés.
CoSA ajoute un nombre limité de Skills qui passent les contrôles de sécurité au niveau du paquet, mais sont choisies pour interagir avec les opérations d’un répertoire existant.
Pour vérifier si ces ajouts changent les résultats lorsque les agents choisissent eux-mêmes leurs Skills, les auteurs ont comparé les répertoires d’origine et les répertoires augmentés en conservant les mêmes requêtes fixes et les mêmes états initiaux.
Sur 4 320 exécutions de tâches par condition, un modèle de langage chargé de juger a relevé des violations concrètes de règles dans 35,02 % des exécutions avec les répertoires d’origine et dans 58,45 % avec les ajouts de CoSA. Cette hausse agrégée étaye l’affirmation selon laquelle les ajouts ont accru les violations dans l’ensemble des conditions testées ; elle ne mesure pas la probabilité d’échec lors d’exécutions répétées d’une tâche donnée.
Le résultat principal agrège des tâches fixes, cinq modèles et trois environnements d’agents, chaque tâche n’ayant été exécutée qu’une fois par condition. Il ne montre pas à quelle fréquence les agents choisiraient ces ajouts dans des contextes réels évolutifs. Le résultat de CoSA-Guard dans OpenClaw porte uniquement sur des tâches de recrutement.
Ce que montrent les preuves
- La limite des contrôles individuels
La Conflict of Skills Attack (CoSA) est une méthode qui construit un nombre limité d’ajouts au répertoire de Skills d’un agent. Elle répond à une lacune précise : les contrôles au niveau du paquet évaluent les Skills une par une, alors qu’une tâche peut amener une Skill à transmettre des informations ou une décision à une autre.
L’article ne considère qu’il y a conflit que si des éléments relient la réutilisation d’au moins deux Skills autorisées à une violation concrète d’une règle. Une simple séquence de Skills ne suffit pas.
- Motifs d’interaction entre Skills
Pour repérer des motifs permettant de construire des ajouts, les auteurs ont d’abord mené des exécutions contrôlées avec des Skills du monde réel et des contrôles appariés n’utilisant qu’une seule Skill. Ils rapportent quatre mécanismes récurrents : le contexte de sécurité peut se perdre, des interfaces peuvent se relier par leur sens, des signaux d’évaluation peuvent sembler faire autorité et les liens entre cibles et actions peuvent dériver.
Ces motifs guident la construction des candidats de CoSA, mais leur découverte ne permet pas à elle seule d’établir à quelle fréquence ils surviennent lorsque les agents choisissent leurs Skills de façon autonome.
- Des motifs aux ajouts
CoSA propose des ajouts qui fournissent soit une opération métier manquante, soit une autre façon pour les opérations existantes d’échanger des informations, de réutiliser des décisions ou de relier des actions à des cibles.
La méthode vérifie que les opérations et les transferts proposés respectent les contrats documentés, exige que les candidats passent les contrôles au niveau du paquet et en sélectionne un nombre limité pour couvrir les possibilités validées.
Dans un test diagnostique distinct, les combinaisons sélectionnées de plusieurs Skills ont entraîné des violations dans 41 requêtes sur 60, contre 5 sur 60 pour les contrôles appariés à une seule Skill. Les deux conditions ont permis de mener à bien 55 tâches.
- Tester le choix autonome des Skills
L’évaluation principale s’appuie sur CoSA-Bench, un ensemble de 288 tâches métier fixes couvrant quatre domaines et trois catégories de risques liés aux règles. Cinq modèles de langage et trois environnements d’agents ont exécuté chaque tâche une fois avec le répertoire d’origine et une fois avec le répertoire augmenté, en choisissant eux-mêmes les Skills et leur ordre.
Un modèle de langage chargé de juger ne comptait une violation que si la trace d’exécution révélait un effet interdit concret. Dans l’ensemble des conditions évaluées, le taux de violation jugé est passé de 35,02 % à 58,45 %.
- Contrôles et protection
Les contrôles sur OpenClaw permettent de préciser les explications possibles de cette hausse : le taux de violation était de 26,39 % avec des ajouts bénins aléatoires, de 43,40 % avec une sélection aléatoire parmi les candidats vérifiés de CoSA et de 54,24 % avec CoSA complet.
Ils suggèrent que la taille du répertoire ou la sélection aléatoire, à elles seules, ne reproduisent pas le résultat complet, même si chaque référence aléatoire ne repose que sur un tirage. Une évaluation distincte sur des tâches de recrutement a relevé moins de violations avec CoSA-Guard, un contrôle intégré à l’environnement de l’agent, mais certaines violations ont persisté.
Détails
- Auteurs de l’article original
- Yujia Zheng, Tianhao Li, Shangzhi Xu, Yuekai Huang, Ziyou Jiang
- Soumis à arXiv
- Licence
- CC BY 4.0