Un detector RAG pequeño usa el contexto para detectar ataques ocultos

Cuando un sistema busca documentos para responder una pregunta, esos documentos pueden contener instrucciones que intentan desviarlo.

Sin embargo, las oraciones con instrucciones también aparecen en manuales inofensivos. La cuestión pendiente es si un detector local pequeño puede usar la petición del usuario para distinguir entre ambos casos, en vez de marcar solo por la redacción.

El artículo presenta un pequeño detector local que compara las instrucciones recuperadas con la consulta del usuario antes de que un sistema RAG genere una respuesta.

El modelo pequeño se entrenó con ejemplos revisados por un evaluador independiente. En 659 registros reservados para la prueba, detectó el 99,4 % de los ejemplos maliciosos, frente al 11,6 % del mismo modelo sin entrenamiento, y marcó por error el 2,6 % de los ejemplos benignos.

Estas cifras miden la detección, no lo que haría un generador de respuestas posterior. En otra prueba se reutilizó cada oración en contextos benignos y manipulados.

El detector acertó ambas etiquetas en el 75,0 % de los 120 pares, frente al 54,2 % de un clasificador que solo leía el contexto.

La mayoría de los resultados procede de pruebas sintéticas dentro de un mismo dominio; no se probaron ataques adaptativos ni la generación posterior de respuestas.

En PoisonedRAG, una prueba con pasajes que contenían hechos inventados, el detector ajustado señaló solo el 0,7 % de los pares maliciosos, por lo que no aborda la falsificación de hechos.