En palabras sencillas
Las salvaguardas de los agentes de IA se pueden evaluar preguntando si detectan a un agente que intenta realizar una tarea secundaria dañina mientras cumple con un trabajo legítimo. Pero los ataques ejecutados en un entorno de prueba separado quizá no se parezcan a las tareas y herramientas de un despliegue real.
Este artículo presenta evaluaciones de control simuladas: un modelo de lenguaje imita las respuestas de las herramientas a partir de registros del despliegue, mientras un evaluador independiente estima si el ataque tuvo éxito.
En LinuxArena, estas evaluaciones predijeron la seguridad con más precisión que los ataques ejecutados en BashArena, otro entorno de prueba.
La investigación
Si se prueba una salvaguarda con tareas distintas de las que afrontará un agente, ¿esa prueba permite saber si detectará los ataques que esas tareas hacen posibles? Ejecutar intentos de ataque en sistemas activos conlleva el riesgo de causar los daños que se quieren medir.
Por eso, los autores preguntan si los registros del despliegue pueden hacer que una prueba más segura también sea más pertinente.
Los autores presentan evaluaciones de control simuladas, que usan registros del despliegue para simular respuestas de herramientas y estimar qué tan bien detectan las salvaguardas las acciones dañinas de un agente.
Los autores evalúan el método en LinuxArena, donde se pueden ejecutar ataques para establecer sus resultados. Comparan ataques simulados en LinuxArena con ataques ejecutados en BashArena para predecir la seguridad en LinuxArena, manteniendo la misma política de ataque, el mismo límite de trayectoria y los mismos monitores.
Los entornos siguen difiriendo en las tareas y en si las respuestas de las herramientas son simuladas o provienen de ejecuciones reales.
Con un presupuesto de auditoría del 5 %, es decir, cuando se marca para revisión el 5 % de las trayectorias honestas, el error de predicción de seguridad en cinco monitores fue de 3,6 puntos porcentuales para las SCE y de 10,1 para BashArena.
La medida de seguridad refleja la detección antes de que un ataque tenga éxito sin ser detectado. Esto respalda una mejor predicción en esta prueba.
El principal resultado de precisión procede de LinuxArena, y los resultados simulados dependen tanto del simulador como de un evaluador independiente que estima si los ataques tuvieron éxito. El estudio presupone que se puede confiar en el simulador.
Análisis
Detalles
- Autores del paper original
- Jeffrey Olmo, David Zhang, Tyler Tracy
- Enviado a arXiv
- Licencia
- CC BY 4.0