Ataques relacionados revelan fallos que pasan inadvertidos
On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection · arXiv:2610.32531
En palabras sencillas
Una prompt injection es una instrucción escondida en contenido externo que intenta desviar un modelo de la tarea del usuario. Este artículo presenta NTBench, un conjunto de pruebas que examina si esas instrucciones pueden hacer que un modelo dé una respuesta relacionada pero incorrecta, o realice una acción dañina.
Las pruebas parten de respuestas legítimas, proponen desviaciones y las comprueban antes de probar las instrucciones. En las tareas de lenguaje evaluadas, todos los modelos probados tuvieron más ataques exitosos contra esos resultados relacionados que contra la comparación con objetivos fijos. El hallazgo se limita a las tareas y comprobaciones evaluadas.
La investigación
Si un modelo rechaza una instrucción que abandona claramente la tarea del usuario, ¿significa que también resistirá una instrucción que conserva buena parte de la tarea, pero añade un error o una acción dañina?
Probar más instrucciones para un solo resultado seleccionado no permite saber si tendrían éxito otros resultados buscados por el atacante.
NTBench construye y valida objetivos incorrectos o dañinos relacionados con la tarea y prueba si sus instrucciones revelan fallos que los ataques con objetivos fijos pasan por alto.
NTBench examina si las instrucciones dirigidas a resultados incorrectos o dañinos relacionados con una tarea revelan debilidades que las pruebas de prompt injection con objetivos fijos no detectan.
El benchmark genera objetivos candidatos a partir de resultados legítimos de la tarea, valida que sean infracciones reales y luego comprueba si una instrucción inyectada los provoca.
En las tareas de lenguaje, todos los modelos evaluados tuvieron una tasa de éxito de ataque mayor en ambas categorías de objetivos relacionados que en la comparación con objetivos fijos, bajo un máximo común de tres intentos.
Esto respalda la conclusión de que los resultados elegidos para las pruebas influyen en qué fallos se revelan; los métodos usan comprobaciones de éxito distintas.
Estos resultados corresponden a las tareas, los objetivos generados, los modelos y las comprobaciones de éxito seleccionados. El benchmark anima a que los objetivos sigan relacionados con resultados legítimos, pero no impone un límite numérico de proximidad.
Las comparaciones tampoco muestran una mayor tasa de éxito cuando se mantiene fijo el objetivo del atacante.
Qué muestran las pruebas
- Probar infracciones relacionadas
NTBench, el Near-Target Benchmark, es un conjunto de pruebas de red teaming para evaluar la resistencia a las prompt injections. Examina si las instrucciones ocultas en contenido no confiable pueden hacer que un sistema produzca un resultado incorrecto o dañino que siga relacionado con la tarea del usuario.
La pregunta importa porque rechazar ataques que abandonan la tarea de forma evidente puede dejar sin evaluar otros resultados que busca el atacante.
- Construir objetivos validados
Para cada tarea, un LLM parte de un resultado legítimo de referencia y propone un objetivo y una instrucción destinada a provocarlo. NTBench separa los objetivos que introducen errores de los que cumplen criterios de daño. Las comprobaciones con LLM y la validación humana evalúan si cada resultado propuesto infringe la tarea o los criterios seleccionados, de modo que una respuesta distinta pero aceptable no se cuenta como infracción.
- Comparar los resultados de los ataques
Una muestra cuenta como éxito cuando al menos uno de hasta tres ataques provoca la desviación especificada y esa misma desviación no aparece en una ejecución sin ataque. En siete modelos de lenguaje y diez conjuntos de datos, ambas categorías de objetivos relacionados tuvieron un ASR@3 general superior al de la comparación con objetivos fijos en todos los modelos. ASR@3 es el porcentaje de muestras con un ataque exitoso entre tres intentos.
- Ampliar la comparación
Se observó el mismo orden en AgentDojo y AgentDyn, conjuntos que evalúan agentes basados en modelos de lenguaje mientras realizan flujos de trabajo que pueden incluir llamadas a herramientas. En ambos conjuntos y para todos los modelos evaluados, las categorías de objetivos relacionados tuvieron un ASR@3 superior al de la comparación con objetivos fijos, calculado sobre las posiciones de inyección alcanzadas.
Para contar una llamada a una herramienta como exitosa, se comprobaron la herramienta y los argumentos clave; esto no establece que se produjeran efectos posteriores.
Detalles
- Autores del paper original
- Yuyang Gong, Zihao Wang, Jiawei Liu, XiaoFeng Wang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive