Kairos retiene acciones inciertas del agente para revisión posterior
En palabras sencillas
Un agente puede seguir instrucciones ocultas en el contenido que lee. Una acción puede parecer trabajo normal cuando ocurre por primera vez, aunque acciones posteriores revelen un problema.
Kairos es un monitor que almacena de forma provisional los cambios de archivo inciertos y retiene las solicitudes cuyas respuestas no son necesarias mientras el agente continúa. Si el agente necesita la respuesta de una solicitud, Kairos decide antes de enviarla.
Un tomador de decisiones independiente revisa los efectos retenibles usando la tarea y el historial de acciones. En las pruebas, redujo los ataques exitosos en un conjunto de tareas simuladas mientras mantuvo la finalización de tareas ordinarias cerca del nivel del agente sin defensa.
La investigación
Cuando un agente actúa sobre contenido que puede contener un ataque, la primera acción puede parecerse a trabajo legítimo, mientras que acciones posteriores revelan sus consecuencias. ¿Puede un monitor esperar esa evidencia sin liberar efectos dañinos ni bloquear tareas útiles?
Kairos almacena de forma provisional los cambios de archivo inciertos y retiene las solicitudes cuyas respuestas no son necesarias de inmediato mientras el agente continúa, de modo que las acciones posteriores puedan informar la decisión. Una solicitud cuya respuesta sí necesita el agente debe decidirse antes de enviarse.
Kairos retiene efectos inciertos en el límite de aislamiento. Su política aplica reglas y verifica la procedencia confiable y la autorización de datos; un oráculo acotado revisa los efectos diferidos según la tarea y el historial de acciones.
En AgentDojo, que pone a prueba ataques ocultos en el contenido que lee un agente, ¿puede una defensa reducir los ataques exitosos sin disminuir drásticamente la finalización de tareas ordinarias?
El éxito de ataque contabiliza los casos de inyección en que se cumple el objetivo del atacante; la utilidad sin ataque contabiliza las tareas completadas por el usuario cuando no hay ataque.
Los autores compararon GPT-4.1 con Kairos frente al agente sin defensa en cuatro conjuntos de pruebas. El éxito de ataque cayó del 47,0% al 2,7% de los casos de inyección, mientras que la utilidad sin ataque fue del 85,1% frente al 82,7% de las tareas normales.
Esto apoya una conclusión acotada: Kairos redujo los ataques mientras mantuvo la finalización de tareas ordinarias cerca del nivel del agente sin defensa en esta prueba.
Estos resultados cubren simulaciones de referencia, donde las llamadas a herramientas fueron adaptadas como eventos de límite en lugar de efectos reales del sistema.
La autorización también depende de reglas de política y de un oráculo que puede ser persuadido por contenido no confiable; Kairos no garantiza que cada liberación sea correcta.
Análisis
Detalles
- Autores del paper original
- Kristoffer Hempel, Nils Loose, Lorenzo Cavallaro, Thomas Eisenbarth
- Enviado a arXiv
- Licencia
- arXiv non-exclusive