Corregir vulnerabilidades también exige mantener los proyectos en funcionamiento
En palabras sencillas
Un agente de programación que debe actualizar un paquete de software vulnerable tiene dos tareas: eliminar la vulnerabilidad y evitar que el proyecto se rompa. VulnBump reúne actualizaciones de proyectos reales para evaluar ambas tareas.
Un verificador separado revisa cada intento: vuelve a buscar la vulnerabilidad, compila el proyecto y repite las pruebas que ya pasaban. En 307 actualizaciones, Evo Remediation Agent de Snyk superó todas las comprobaciones más a menudo que las configuraciones de Claude Code evaluadas.
Los resultados corresponden a un intento por actualización y a las pruebas propias de cada proyecto.
La investigación
Cuando una dependencia tiene una solución de seguridad conocida, ¿puede un agente de programación aplicarla sin dejar intacta la vulnerabilidad ni romper el proyecto? Las comprobaciones que solo miran si la compilación y las pruebas siguen funcionando pueden pasar por alto una corrección incompleta. El artículo pregunta cómo evaluar juntas ambas partes de la tarea.
VulnBump evalúa actualizaciones reales de dependencias con un veredicto independiente de cuatro comprobaciones para mostrar qué sistemas de programación eliminan vulnerabilidades y mantienen los proyectos en funcionamiento.
Los autores presentan VulnBump, que evalúa 307 actualizaciones de dependencias en 43 repositorios y seis gestores de paquetes.
En un contenedor nuevo, un verificador independiente comprueba que las dependencias se resuelvan, que un nuevo análisis confirme la corrección de la vulnerabilidad, que el proyecto compile y que las pruebas que antes pasaban sigan pasando.
Con el mismo modelo, Evo Remediation Agent de Snyk superó las cuatro comprobaciones en el 90.2% de las actualizaciones, frente al 77.5% de Claude Code con los mismos hallazgos y la misma versión objetivo de Snyk.
La puntuación conjunta mide a la vez la corrección de la vulnerabilidad y la integridad del proyecto.
Las tasas se calculan agrupando las actualizaciones, no como promedios por repositorio. Evo Remediation Agent y Claude Code usan entornos de ejecución, instrucciones y herramientas distintos, así que la comparación no permite identificar qué componente explica la diferencia. Cada sistema se ejecutó una vez y se comprobó con las pruebas propias de cada proyecto.
Análisis
Detalles
- Autores del paper original
- Gabija Pasiunaite, Ryan McMorrow, Brian Clark, Liran Tal, Luke Tu
- Enviado a arXiv
- Licencia
- CC BY 4.0