ES
Las puntuaciones de ataque no bastan para decidir sobre la inyección de prompts
From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection · arXiv:2610.20907
En palabras sencillas
La inyección de prompts consiste en texto que intenta redirigir una aplicación de IA mediante instrucciones no confiables. Este estudio de evaluación pregunta si una puntuación de ataque puede ayudar a un sistema a aceptar, bloquear o enviar una entrada a revisión. Los investigadores fijaron las puntuaciones y los ajustes de decisión antes de probar juntos ejemplos de ataques y casos benignos.
En el punto en que los sistemas no dejaban pasar más del 1% de los ataques de esa mezcla de prueba, enviaban casi todas las entradas a revisión y aun así bloqueaban muchos casos benignos. El resultado muestra que la puntuación por sí sola no determina cómo funciona el sistema completo.
La investigación
Si una entrada puede contener una inyección de prompts, ¿puede una puntuación de probabilidad decirle a un sistema si debe dejarla pasar, bloquearla o enviarla a revisión?
Una buena clasificación puede ayudar a detectar ataques, pero la decisión final también depende de que la confianza coincida con la composición real de las entradas y de cómo el evaluador gestione los casos aplazados.
Este estudio evalúa si las probabilidades de ataque pueden guiar decisiones de aceptación, bloqueo y revisión en un proceso congelado de filtro y evaluador.
Los investigadores fijaron los filtros de puntuación de ataques, sus ajustes para aceptar, bloquear o revisar y un evaluador basado en un modelo de lenguaje antes de probar 47,611 ejemplos de cuatro colecciones de inyección de prompts. Solo las entradas aplazadas pasaron al evaluador para una decisión final.
En esta mezcla, alcanzar una tasa observada de ataques no detectados de como máximo el 1% requirió enviar a revisión entre el 91.89% y el 92.55% de todas las entradas; aun así, se bloquearon entre el 40.55% y el 45.84% de las entradas benignas. Esto muestra que la puntuación del filtro por sí sola no determina los falsos positivos: también importan el comportamiento del evaluador y los ajustes de decisión.
El conjunto confirmatorio es una mezcla construida deliberadamente en la que el 88.2% son ataques, por lo que las tasas agregadas no predicen la prevalencia en un despliegue natural.
El estudio informa estimaciones puntuales sin intervalos de confianza y mide detección y derivación a revisión, no la vulneración posterior de agentes ni los daños resultantes.
Qué muestran las pruebas
- Qué debe hacer la puntuación del detector
La inyección de prompts es texto no confiable que intenta redirigir una aplicación de IA. Este artículo evalúa si las puntuaciones de probabilidad de ataque permiten decidir si se acepta, bloquea o aplaza una entrada para que la revise un evaluador.
Una puntuación alta puede ayudar a ordenar los ataques, pero también debe reflejar una confianza acorde con los resultados observados; además, la decisión final depende de lo que ocurre con los casos aplazados. El estudio examina esta cuestión con una mezcla de entradas con inyección de prompts.
- Cómo se fijó la comparación
Para evitar que los resultados confirmatorios influyeran en el sistema evaluado, los autores eligieron los prompts, los ajustes de los modelos, los ajustes de las puntuaciones, el umbral del evaluador y los intervalos del filtro usando datos separados; después, los dejaron fijos.
Cada filtro acepta, bloquea o aplaza una entrada; solo los casos aplazados llegan al evaluador fijo basado en un modelo de lenguaje. La prueba final combina 47,611 ejemplos de cuatro colecciones seleccionadas de antemano, pero el 88.2% son ataques, así que esta mezcla construida deliberadamente no estima la prevalencia natural.
- La clasificación favorece a distintos modelos
Para comparar la clasificación de ataques, los investigadores calculan el AUROC, una medida de 0 a 1 que indica con qué frecuencia un ataque recibe una puntuación superior a la de un ejemplo benigno al considerar distintos umbrales; 1 representa un orden perfecto.
En los ejemplos agregados, el evaluador de modelo de lenguaje obtuvo 0.897, Jev 0.871 y los clasificadores Prompt Guard 2 86M y 22M obtuvieron 0.757 y 0.714. La métrica se calcula sobre los ejemplos agregados, no como promedio entre colecciones, y la comparación no aísla los objetivos de entrenamiento.
- La confianza arroja resultados mixtos
La calibración pregunta si las probabilidades asignadas coinciden con la frecuencia real de ataques; por ejemplo, las entradas con una puntuación de 0.8 deberían ser ataques aproximadamente el 80% de las veces. Tras ajustar las probabilidades con datos objetivo separados, las puntuaciones nativas de Jev tuvieron un error de calibración esperado menor que Prompt Guard 2 86M (0.541 frente a 0.571), una puntuación de Brier casi igual (0.440 frente a 0.439), pero una pérdida logarítmica negativa peor (1.432 frente a 1.104). En estas medidas, los valores más bajos son mejores, por lo que el patrón es mixto.
- La revisión cambia el equilibrio del sistema
Con el mismo evaluador, los tres filtros tuvieron que enviar a revisión más del 91.8% de todas las entradas confirmatorias para alcanzar una tasa observada de ataques no detectados de como máximo el 1%. En esos puntos, todavía se bloqueó entre el 40.55% y el 45.84% de las entradas benignas.
Esto muestra por qué importan tanto el evaluador y los ajustes de decisión como la puntuación del filtro: una buena calibración por sí sola no garantiza una decisión de seguridad útil.
Detalles
- Autores del paper original
- Qianlong Lan, Anuj Kaul, Vinothini Pandurangan, Indranil Sanyal
- Enviado a arXiv
- Licencia
- CC BY 4.0