El contexto de código ayuda más a algunos modelos que buscan vulnerabilidades
How Much Does the Harness Matter, and for Whom? A Multi-Model Study of Context in LLM-Driven Vulnerability Discovery · arXiv:2610.28802
En palabras sencillas
El artículo estudia si las herramientas y la información sobre el código que reciben los agentes de IA cambian su capacidad para encontrar problemas de seguridad en software real. DeepSec primero selecciona archivos para revisar; después, un agente los investiga y vuelve a comprobar sus propios informes.
Los investigadores también revisan los hallazgos que se conservan. En 24 configuraciones de modelos y herramientas, ninguna encontró por sí sola todos los problemas confirmados que se observaron en el estudio.
En una prueba aparte con cuatro modelos, combinar una instrucción diseñada para buscar fallos de seguridad con contexto de código ayudó a algunos modelos más que a otros frente a una instrucción mínima; el promedio de hallazgos del modelo más sólido no aumentó.
La investigación
Cuando un agente de IA busca fallos de seguridad en software real, ¿cuánto importan sus instrucciones y la información adicional sobre el código? ¿Depende la respuesta del modelo que hace la búsqueda?
Esto importa al interpretar los hallazgos, porque los resultados pueden reflejar tanto el modelo como las herramientas que lo rodean.
Los autores comparan configuraciones e instrucciones de DeepSec y observan que combinar indicaciones diseñadas con contexto de código eleva el rendimiento confirmado en algunos modelos, pero no en otros.
Los autores compararon cuatro modelos seleccionados con una instrucción mínima, una instrucción de seguridad diseñada y esa misma instrucción con contexto de código derivado de CodeQL. Mantuvieron fijas las etapas de selección de archivos y revisión, y promediaron dos ejecuciones por condición.
La condición combinada de instrucción y contexto elevó el promedio de hallazgos de seguridad confirmados en tres modelos y dejó sin cambios el de GPT-5.5. La comparación por etapas mostró que la instrucción por sí sola mejoró el rendimiento en los cuatro modelos, mientras que añadir contexto solo ayudó a Gemma.
Esto indica que la mejora combinada depende del modelo; no demuestra que el contexto por sí solo ayude a todos.
El estudio sobre el contexto probó cuatro modelos con dos ejecuciones por condición, por lo que sus estimaciones del efecto son aproximadas. La comparación principal cambia tanto la instrucción como el contexto de código añadido; la comparación por etapas muestra que, en este experimento, el contexto por sí solo solo aumentó el rendimiento de Gemma.
La evaluación principal también se centra en una base de código, con una prueba aparte que aporta una corroboración limitada en otro lenguaje.
Qué muestran las pruebas
- La pregunta y el sistema
DeepSec es un sistema de análisis de vulnerabilidades basado en agentes: selecciona archivos, hace que un agente de IA investigue los candidatos y pide al mismo modelo que vuelva a revisar sus informes. Después, los investigadores agrupan los informes coincidentes y revisan los hallazgos que se conservan.
El estudio pregunta cómo se desempeñan distintas configuraciones de modelos y herramientas en código de producción con vulnerabilidades que no eran públicas durante el análisis, y si añadir contexto de código cambia los resultados de forma distinta según el modelo.
- Una configuración deja lagunas
En el estudio con varios modelos, 24 configuraciones de modelo y herramienta compartieron el proceso de DeepSec y la base de código objetivo, pero diferían en sus sistemas base y herramientas de ejecución. Esas diferencias confunden las comparaciones entre configuraciones.
Los investigadores contaron 265 causas raíz de seguridad confirmadas y distintas, observadas en las dos ejecuciones de las configuraciones. La configuración más sólida en sus dos ejecuciones encontró 160, o el 60.4%, de esa unión observada, mientras que 38 causas raíz aparecieron en el conjunto de un solo modelo.
Esto significa que la unión incluía hallazgos que la configuración más sólida no detectó; no equivale a contar todas las vulnerabilidades de la base de código.
- El efecto del contexto varía
El estudio sobre el contexto comparó cuatro modelos seleccionados con sus propios resultados de referencia usando una instrucción mínima y promedios de dos ejecuciones. La condición que combinaba la instrucción de seguridad diseñada para DeepSec con contexto de código derivado de CodeQL elevó el promedio de hallazgos confirmados en Gemma, GLM-5.1 y Composer-2.5.
El promedio de GPT-5.5 no cambió. La puntuación ponderada por gravedad también aumentó más en Gemma, GLM-5.1 y Composer-2.5, mientras que el pequeño cambio de GPT-5.5 quedó dentro de la variación entre ejecuciones.
- Separar los cambios
La comparación por etapas ayuda a interpretar el resultado combinado. Añadir solo la instrucción diseñada elevó el promedio de hallazgos de seguridad frente a la instrucción mínima en los cuatro modelos.
Añadir el contexto de CodeQL a esa instrucción elevó el promedio solo en Gemma y lo redujo en los otros tres en este experimento. Por tanto, la comparación principal no permite atribuir los cambios únicamente al contexto.
Los autores sugieren que el contexto puede aportar información útil sobre las rutas del código a algunos modelos, pero esa explicación propuesta no se probó directamente.
- Una segunda base de código
Los autores comprobaron la dirección del cambio asociado al contexto en 21 instancias de archivos C/C++ con vulnerabilidades conocidas de CyberGym Level-0, una prueba para saber si los sistemas encuentran vulnerabilidades conocidas en los archivos donde están presentes.
Los cuatro modelos encontraron la vulnerabilidad en más instancias con contexto que con el sistema base. Esto aporta corroboración en otro lenguaje y otra base de código, pero la prueba usa un conjunto público y corregido, así que no establece el rendimiento general ante fallos no divulgados.
Detalles
- Autores del paper original
- Ganni Galea Curmi, Ben Wilde
- Enviado a arXiv
- Licencia
- CC BY 4.0