PACE-Bench comprueba si los agentes de programación entregan solicitudes completas
En palabras sencillas
Los agentes de programación pueden modificar un proyecto existente sin cumplir todas las partes de una solicitud. PACE-Bench permite comprobar si entregaron la solicitud completa, incluidos los requisitos del negocio y las conexiones con el código existente.
Convierte solicitudes reales de desarrollo en listas de verificación revisadas por expertos y luego compara con ellas el código de los agentes. En la comparación de 43 tareas, la mejor configuración cumplió por completo la regla de aceptación en 6 casos; en este conjunto de prueba, las entregas completas fueron poco frecuentes.
La investigación
Un agente de programación puede superar las pruebas de componentes individuales y dejar sin terminar una regla del negocio o una conexión con el código existente.
Cuando una solicitud especifica varias condiciones de aceptación, ¿cómo puede una evaluación determinar si se entregó por completo e identificar qué sigue pendiente?
PACE-Bench compara los cambios de agentes de programación con requisitos fijos revisados por expertos y vincula los requisitos incumplidos con evidencia del código y los registros de ejecución.
En proyectos de software maduros, un agente de programación puede superar comprobaciones aisladas y aun así dejar sin cumplir una regla del negocio o un requisito de integración. ¿Cómo puede una evaluación juzgar la solicitud completa y mostrar qué condiciones siguen pendientes, en vez de condensar carencias distintas en una sola puntuación?
PACE-Bench compara los cambios con criterios de aceptación fijos y revisados por expertos, y vincula los requisitos incumplidos con evidencia del código y de la ejecución. En 43 tareas, la configuración con mejor resultado cumplió la regla de entrega completa en 6 casos.
En una comprobación aparte, el evaluador coincidió con el consenso de anotadores técnicos en el 95.2% de 750 dictámenes para cambios de Qwen Run 1.
Estos resultados describen las 43 tareas de producción y las configuraciones probadas.
La comparación entre versiones incluye una configuración de Opus-4.5 por versión, así que no demuestra que los cambios en el entorno de evaluación fueran la única causa del aumento de puntuación. El conjunto de tareas tampoco abarca otras fuentes, como las solicitudes de integración de cambios o la estructura del repositorio.
Análisis
Detalles
- Autores del paper original
- Tianqi Liu, Yandong Guan, Songze Li, Wenkai Wang, Gang Yu
- Enviado a arXiv
- Licencia
- CC BY 4.0