ES
Compuertas de atención aprendidas reducen la inyección en dos modelos abiertos
Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness · arXiv:2610.37657
En palabras sencillas
A veces los modelos necesitan leer la salida de herramientas u otro contenido externo, pero ese contenido puede incluir instrucciones que no deberían seguir. Heads of Security (HoS) es una defensa que aprende qué partes del modelo deberían prestar menos atención a esas instrucciones, mientras permite que otras partes procesen el contenido.
En una prueba, un atacante adaptativo tuvo éxito en el 10% de los objetivos reservados para evaluación frente a GPT-OSS-20B con HoS, frente al 97.2% frente al modelo sin defensa. El resultado se limita a ese atacante y a esa configuración de prueba.
La investigación
Cuando un modelo de lenguaje lee la salida de una herramienta, puede necesitar la información, pero no debería obedecer instrucciones que un atacante haya colocado allí. Aún no está claro si una defensa puede imponer esa distinción y permitir que el modelo siga procesando el contenido.
HoS aprende compuertas de atención para cada cabeza para limitar la obediencia a instrucciones inyectadas y permitir que los modelos procesen contenido externo.
El reto consiste en permitir que un modelo use la información del contenido externo sin tratar las instrucciones colocadas allí como órdenes.
HoS aborda este problema aprendiendo compuertas de atención que permiten a algunas cabezas del modelo limitar la atención al contenido no confiable mientras otras pueden seguir procesándolo.
Frente a un atacante adaptativo entrenado contra SecAlign, el ataque tuvo éxito en el 10.0% de 100 objetivos de InjecAgent reservados para evaluación contra GPT-OSS-20B con HoS, frente al 85.2% con SecAlign y al 97.2% sin defensa.
El éxito significa que la primera llamada a una herramienta del modelo nombró la herramienta del atacante; las tasas son promedios de cinco ejecuciones con un nivel medio de esfuerzo de razonamiento.
Estos resultados abarcan dos modelos de pesos abiertos y los ataques y tareas evaluados. HoS depende de que el límite de confianza esté asignado correctamente, y las evaluaciones finitas no permiten descartar que un adversario capaz consiga un ataque exitoso.
Qué muestran las pruebas
- Separar los datos de las instrucciones
Heads of Security (HoS) es una defensa contra la inyección de instrucciones que ayuda a los modelos de lenguaje a tratar el contenido externo como datos y no como instrucciones autorizadas. Esto importa cuando un modelo lee la salida de una herramienta: puede necesitar la información que contiene y, a la vez, ignorar instrucciones colocadas allí para redirigir sus acciones.
El artículo pregunta si un modelo puede separar esas funciones sin perder la capacidad de usar el contenido.
- Aprender compuertas para cada cabeza
HoS asigna los tokens a grupos de confianza, de contenido no confiable y de plantilla de chat; después aprende compuertas de atención para cada cabeza de atención. Algunas cabezas pueden reducir la atención a los tokens no confiables, mientras que otras pueden seguir procesándolos.
El sistema recibe el límite de confianza desde fuera: HoS no determina qué fuentes o instrucciones deben considerarse confiables.
- Entrenar con respuestas en conflicto
Los autores entrenan las compuertas con pares de preferencias: una respuesta sigue la instrucción del usuario y otra sigue una instrucción inyectada.
Comparan HoS con SecAlign, que usa el mismo conjunto de datos de preferencias, pero tiene componentes entrenables distintos y coloca el texto no confiable en otra posición. Esta comparación permite enmarcar los resultados sin dar a entender que todas las condiciones de entrenamiento eran idénticas.
- Medir la resistencia al ataque
En una prueba de ataque adaptativo, un atacante entrenado contra SecAlign tuvo éxito en el 10% de 100 objetivos de InjecAgent reservados para evaluación frente a HoS en GPT-OSS-20B.
El mismo atacante tuvo éxito en el 85.2% frente a SecAlign y en el 97.2% frente al modelo sin defensa. Las tasas de éxito son promedios de cinco ejecuciones con un nivel medio de esfuerzo de razonamiento, por lo que la evidencia corresponde a ese atacante y a esa configuración de evaluación.
- Comprobar la utilidad y la supresión fija
Los autores también comprobaron el rendimiento en respuestas habituales: en preguntas de MMLU-Pro con cinco ejemplos, GPT-OSS-20B con HoS obtuvo una precisión del 67.2%, cerca del 68.3% del modelo base; SecAlign obtuvo el 59.4%.
Otra comparación en AgentDojo y AgentDyn encontró que las compuertas aprendidas podían lograr un equilibrio distinto entre completar tareas legítimas y tener éxito en la tarea inyectada que la supresión uniforme fija. En esa comparación con GPT-OSS-20B, AgentDojo excluyó las tareas de usuario 35 y 38 de Workspace porque pueden superar el límite de contexto del modelo base; AgentDyn no excluyó ninguna tarea.
En conjunto, estos resultados respaldan un caso acotado a favor de HoS, no una garantía para todas las tareas o ataques.
Detalles
- Autores del paper original
- Igor Shilov, Xiaoxue Yang, Alexander Panfilov, Evgenii Kortukov, Matthieu Meeus
- Enviado a arXiv
- Licencia
- CC BY 4.0