Un plan de reparación ayuda a los agentes de programación a resolver más tareas
En palabras sencillas
Los agentes de programación suelen inspeccionar un proyecto, reproducir un error y ejecutar pruebas antes de cambiar el código. Este artículo presenta PAUSE, que interviene cuando el agente propone por primera vez editar código fuente.
Un planificador separado lee la tarea y la investigación realizada hasta ese momento, propone un plan de reparación y deja que el mismo agente continúe con sus archivos y conversación intactos. En una batería de 500 tareas de reparación en Python, el evaluador determinó que los agentes que usaron PAUSE resolvieron el 65,0% de las tareas, frente al 50,2% sin su orientación. Ese resultado es un promedio de las tareas evaluadas; no significa que todas las reparaciones mejoraran.
La investigación
Los agentes de programación pueden pasar buena parte de una reparación inspeccionando un repositorio, reproduciendo un error y ejecutando pruebas antes de proponer una edición del código fuente.
La pregunta es si la orientación puede aprovechar esa evidencia acumulada y llegar antes de que se aplique el cambio propuesto, mientras el agente aún conserva su investigación y sus archivos de trabajo.
PAUSE ofrece un plan de reparación cuando un agente de programación propone su primera edición de código fuente y luego deja que el mismo agente continúe con la evidencia reunida.
En ejecuciones de reparación registradas, los agentes suelen investigar un repositorio antes de proponer una edición del código fuente. ¿Puede un plan aprovechar esa evidencia antes de que el agente aplique un cambio?
El estudio incorpora un planificador separado cuando se propone la primera edición de código fuente y, después, deja que el mismo ejecutor continúe con su conversación y espacio de trabajo.
En SWE-bench Verified, el evaluador determinó que PAUSE resolvió el 65,0% de las tareas, frente al 50,2% sin orientación. La comparación en ejecución, con condiciones equiparadas, respalda un beneficio en esa configuración; la tasa agregada no significa que todas las tareas mejoraran.
Los resultados en ejecución corresponden a las tareas de reparación y a la configuración de agentes evaluadas. El disparador de PAUSE depende de que el agente solicite una acción de edición de archivos sobre una ruta de código fuente; la recuperación sin conexión también requiere un punto de control utilizable y un espacio de trabajo que pueda restaurarse.
Los resultados no demuestran que el método funcione en repositorios muy distintos o en flujos de trabajo más largos.
Análisis
Detalles
- Autores del paper original
- Viral Patel, Boyin Tan, Jason Xue, Youcheng Sun
- Enviado a arXiv
- Licencia
- arXiv non-exclusive