AgentTriage hace reproducibles los diagnósticos de seguridad de agentes
En palabras sencillas
Cuando un agente que usa herramientas hace algo arriesgado, su respuesta final quizá no revele si intentó, completó o detuvo la acción, ni qué eventos respaldan ese relato. Además, distintos sistemas de agentes registran los eventos de maneras diferentes.
AgentTriage convierte esos registros en un relato reproducible que cita los eventos que sustentan cada afirmación. Si faltan pruebas obligatorias, indica que no puede emitir un diagnóstico. En las pruebas con cinco entornos de ejecución, capturó todas las ejecuciones aplicables y sus diagnósticos fueron completamente correctos en 0.858 de 120 casos revisados, según una regla estricta que exigía acertar todos los elementos.
La investigación
Cuando un agente que usa herramientas realiza una acción delicada para la seguridad, ¿puede alguien comprobar por su cuenta qué ocurrió a partir del registro del entorno de ejecución? La respuesta final quizá no indique si la acción se completó ni qué pruebas respaldan el relato, y cada entorno registra los eventos de forma distinta. El artículo estudia cómo hacer reproducibles esos diagnósticos entre sistemas.
AgentTriage convierte los eventos registrados de agentes en diagnósticos de seguridad deterministas que citan las pruebas, y se abstiene si faltan pruebas obligatorias.
AgentTriage convierte los registros del entorno de ejecución en un diagnóstico que puede recalcularse y verificarse mediante eventos citados. Los investigadores evaluaron si podía cubrir distintos formatos de entorno y explicar correctamente lo ocurrido.
En cinco entornos fijados, capturó las 159 ejecuciones aplicables; en un conjunto separado de 120 casos revisados, obtuvo 0.858 en diagnóstico conjunto fundamentado.
Para recibir esa puntuación, cada caso debía tener correctos el ciclo de vida de la acción, los campos de seguridad principales, el resultado de la política, los argumentos peligrosos aplicables y las pruebas requeridas para las afirmaciones.
El evaluador de diagnósticos también encontró una cobertura alta de las pruebas requeridas y una tasa baja de afirmaciones sin respaldo. En conjunto, estas medidas muestran que el sistema puede producir diagnósticos cuyas afirmaciones se pueden contrastar con las pruebas en la configuración evaluada.
La evaluación abarca cinco entornos de ejecución fijados, los escenarios probados, un oráculo de políticas fijo y las pruebas registradas. Un diagnóstico reproducible no tiene por qué ser correcto si no se registraron eventos pertinentes; si faltan pruebas obligatorias, el sistema se abstiene.
Análisis
Detalles
- Autores del paper original
- Jie Ying, Xutao Zhang, Ningyuan Chen, Mengce Zheng, Jun Li
- Enviado a arXiv
- Licencia
- arXiv non-exclusive