Kairos retient les actions incertaines d'un agent pour examen différé
En termes simples
Un agent peut suivre des instructions cachées dans le contenu qu'il lit. Une action peut ressembler à un travail normal au moment où elle se produit, même si des actions ultérieures révèlent un problème.
Kairos est un moniteur qui met en attente les modifications de fichiers incertaines et retient les requêtes dont les réponses ne sont pas nécessaires pendant que l'agent poursuit. Si l'agent a besoin de la réponse à une requête, Kairos tranche avant l'envoi.
Un décideur distinct examine les effets pouvant être retenus en s'appuyant sur la tâche et l'historique des actions. Lors des tests, il a réduit les attaques réussies sur un ensemble de tâches simulées tout en maintenant la complétion des tâches ordinaires à un niveau proche de l'agent sans défense.
La recherche
Lorsqu'un agent agit sur du contenu susceptible de contenir une attaque, la première action peut ressembler à un travail légitime, tandis que les actions suivantes en révèlent les conséquences. Un moniteur peut-il attendre ces éléments de preuve sans pour autant libérer des effets nuisibles ni bloquer des tâches utiles ?
Kairos met en attente les modifications de fichiers incertaines et retient les requêtes dont les réponses ne sont pas immédiatement nécessaires pendant que l'agent continue, afin que les actions ultérieures puissent éclairer la décision. Une requête dont l'agent a besoin de la réponse doit être tranchée avant l'envoi.
Kairos retient les effets incertains à la frontière d'isolation. Sa politique applique des règles et vérifie la provenance fiable ainsi que le niveau d'autorisation des données ; un oracle borné examine les effets différés en regard de la tâche et de la trace d'actions.
Sur AgentDojo, qui teste des attaques dissimulées dans le contenu lu par un agent, une défense peut-elle réduire les attaques réussies sans faire chuter significativement la complétion des tâches ordinaires ?
Le taux de succès des attaques comptabilise les cas d'injection où l'objectif de l'attaquant est atteint ; l'utilité normale comptabilise les tâches utilisateur menées à bien en l'absence d'attaque.
Les auteurs ont comparé GPT-4.1 avec Kairos face à l'agent sans défense sur quatre suites. Le taux de succès des attaques est passé de 47,0 % à 2,7 % des cas d'injection, tandis que l'utilité normale était de 85,1 % contre 82,7 % des tâches normales.
Cela soutient une conclusion bornée : Kairos a réduit les attaques tout en maintenant la complétion des tâches ordinaires à un niveau proche de l'agent sans défense, dans ce test.
Ces résultats portent sur des simulations en environnement de référence, où les appels d'outils ont été adaptés en événements de frontière plutôt qu'en effets système réels.
L'autorisation dépend également des règles de politique et d'un oracle susceptible d'être influencé par du contenu non fiable ; Kairos ne garantit pas que chaque libération est correcte.
Analyse
Détails
- Auteurs de l’article original
- Kristoffer Hempel, Nils Loose, Lorenzo Cavallaro, Thomas Eisenbarth
- Soumis à arXiv
- Licence
- arXiv non-exclusive