Los fallos de seguridad pueden ocultarse en llamadas válidas a herramientas de LLM
En palabras sencillas
Las herramientas que usan los agentes de modelos de lenguaje tienen instrucciones sobre el significado de cada entrada, por ejemplo: «un archivo dentro de esta carpeta». Pero una entrada maliciosa puede respetar el formato requerido y la herramienta puede ejecutarla sin fallar.
ToFu es un sistema de pruebas que lee esas instrucciones, crea entradas de ataque que se ajustan a ellas y comprueba qué hace realmente la herramienta. En el conjunto evaluado, los revisores confirmaron 253 fallos en 118 de los 273 servidores accesibles, incluidos casos en los que la herramienta informó que la ejecución había concluido correctamente.
La investigación
Cuando un modelo de lenguaje envía una llamada a través de un orquestador, ¿qué puede suponer con seguridad la herramienta sobre sus argumentos? Una llamada puede respetar el esquema aunque un atacante controle su contenido, y la herramienta puede responder con normalidad después de infringir el significado de seguridad que documenta.
El artículo pregunta si probar el comportamiento semántico de la herramienta permite sacar a la luz este riesgo oculto.
ToFu convierte la documentación de las herramientas en comprobaciones semánticas ejecutables y pruebas de fuzzing válidas según el esquema; luego usa efectos observados y salidas para detectar infracciones de seguridad silenciosas.
El marco asigna a cada argumento comprobaciones de seguridad registradas según el significado documentado, modifica los argumentos sin dejar de respetar el esquema de la herramienta y evalúa los efectos durante la ejecución o si una entrada marcada se rechazó de forma segura.
Así pone a prueba el contrato en el límite de la implementación, en lugar de preguntar solo si el proceso falla.
En 273 servidores accesibles, ToFu generó 508 casos candidatos; la revisión manual y la eliminación de duplicados dejaron 253 fallos verificados que afectaban a 343 herramientas en 118 servidores. Como 182 candidatos implicaban una ejecución exitosa pese a infringir una restricción semántica, los hallazgos respaldan la conclusión del artículo: respetar el formato y completar la ejecución con normalidad no demuestra que la herramienta maneje las entradas de forma segura; los metadatos de la herramienta deben hacerse cumplir en el límite de la implementación.
ToFu necesita pruebas observables durante la ejecución y herramientas ejecutables.
Puede pasar por alto propiedades que no generan eventos observables, servidores que fallan antes de ejecutar su lógica y comportamientos que dependen de varios agentes, componentes de terceros o secuencias de llamadas con estado.
Análisis
Detalles
- Licencia
- CC BY 4.0