Chiosa
AI Security & Safety

Les artefacts persistants font passer les attaques d’une session d’agent à l’autre

2 min ·

En termes simples

Cet article étudie comment des agents logiciels peuvent être attaqués lorsqu’une session laisse des fichiers ou des enregistrements qu’une session ultérieure réutilise. Une compétence malveillante peut y déposer des instructions, des données non autorisées ou de fausses affirmations.

Une autre compétence peut ensuite inciter l’agent de la session suivante à s’en servir. Les auteurs présentent SkillRelayGuard, qui indique l’origine d’un artefact et demande à un évaluateur distinct de vérifier les opérations avant leur exécution.

Dans 270 cas répartis sur deux sessions, les attaques ont nettement diminué et l’accomplissement des tâches demandées a augmenté, mais les attaques n’ont pas disparu.

La recherche

Quand des agents logiciels poursuivent leur travail d’une session à l’autre, ils doivent réutiliser des fichiers et des enregistrements sans prendre un contenu écrit par un attaquant pour une autorisation de l’utilisateur ou une preuve fiable.

Une défense peut-elle préserver ce transfert utile tout en détectant les instructions nuisibles, l’utilisation non autorisée de données et les fausses affirmations ? L’article teste cette question avec des tâches appariées où la conversation est réinitialisée, mais où les artefacts sont conservés.

SkillRelayGuard rétablit la provenance des artefacts et examine les opérations avant leur exécution, réduisant les attaques entre sessions tout en préservant l’accomplissement des tâches légitimes.

Sur 270 cas en deux sessions, les auteurs ont effacé l’historique de la conversation entre les sessions tout en conservant les artefacts. Des évaluateurs distincts ont vérifié l’accomplissement des tâches, les conséquences de sécurité et le transfert prévu.

Sur sept configurations, les conséquences visées se sont produites dans 64.7% des exécutions, tandis que les deux tâches ont été terminées dans 76.3% des cas ; 53.0% des exécutions réunissaient ces deux résultats.

Avec SkillRelayGuard, par rapport à l’exécution sans protection et sur trois configurations sélectionnées, le taux d’attaque est passé de 69.5% à 10.9%, tandis que le taux d’accomplissement des tâches est monté de 79.6% à 87.5%. Ces résultats étayent l’efficacité de la défense dans les tests menés.

Les évaluateurs peuvent mal classer les cas limites, l’exécution est aléatoire et l’étude d’ablation ne portait que sur une configuration. La stabilité des résultats lors d’exécutions répétées et leur transposition à d’autres flux de travail restent à vérifier.

Analyse

Détails

Article suivantSecurity bugs can hide inside valid LLM tool calls