El harness cambia los resultados de los modelos ligeros de programación
Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents · arXiv:2610.32131
En palabras sencillas
Un modelo de programación puede trabajar con distintos agentes de software. Cada agente, llamado harness, le proporciona información del repositorio y herramientas; después ejecuta y revisa los cambios de código que propone.
Los autores probaron seis harnesses con tres modelos ligeros en las mismas tareas de programación. Para un mismo modelo, la proporción de tareas resueltas varió hasta 44 puntos porcentuales entre harnesses. El resultado se limita a las combinaciones y tareas evaluadas.
La investigación
Cuando un modelo de programación rinde mal, ¿el problema está en el modelo o un agente de software distinto podría cambiar lo que consigue hacer?
Los informes anteriores solían probar combinaciones fijas de modelo y harness, por lo que había poca evidencia sobre cómo la elección del harness afectaba la resolución de tareas, los fallos y el coste en tokens del mismo modelo.
Los autores comparan todas las combinaciones de seis harnesses de agentes y tres modelos ligeros en las mismas tareas de programación para medir cómo el harness modifica los resultados de cada modelo.
SWE-bench Verified evalúa si los agentes de software resuelven tareas de programación en repositorios; sus calificaciones indican si las tareas quedaron resueltas. Los autores combinaron seis harnesses de agentes de código abierto con tres modelos ligeros de programación. Cada combinación intentó las mismas 100 tareas bajo condiciones comunes de servicio, medición del consumo y evaluación.
Para un mismo modelo, las tasas de resolución variaron hasta 44 puntos porcentuales entre harnesses, mientras que su clasificación cambió según el modelo. Como en la comparación dentro de cada modelo se mantuvieron iguales tanto el conjunto de tareas como el modelo, los resultados muestran que la elección del harness modificó el rendimiento medido en esta evaluación.
Estos hallazgos describen tres modelos ligeros de programación, seis harnesses de código abierto y las 100 tareas de SWE-bench Verified evaluadas bajo las mismas condiciones del estudio. No permiten establecer cómo rendirán otras combinaciones o conjuntos de tareas.
Qué muestran las pruebas
- Qué mide la comparación
Este artículo evalúa empíricamente combinaciones de agentes ligeros de programación. Un harness gestiona el contexto del repositorio, el acceso a herramientas, la ejecución, la validación y el envío de cambios para un modelo de programación. La pregunta es si cambiar el harness modifica los resultados del mismo modelo.
SWE-bench Verified evalúa si los agentes de software resuelven tareas de programación en repositorios; sus calificaciones indican si cada tarea quedó resuelta.
- Las mismas tareas para todos
Los autores combinaron seis harnesses de código abierto con tres modelos ligeros. Cada una de las 18 combinaciones intentó las mismas 100 tareas de SWE-bench Verified, con un total de 1.800 ejecuciones calificadas bajo condiciones comunes de servicio, medición del consumo y evaluación. Comparar harnesses con el mismo modelo y las mismas tareas permite observar el efecto de elegir un harness en esta evaluación.
- Los resultados dependen de la combinación
Para un mismo modelo, las tasas de resolución variaron hasta 44 puntos porcentuales entre harnesses, y la clasificación de estos cambió según el modelo. Esto significa que, en este estudio, la tasa de resolución medida para un modelo dependió del harness; no significa que todos los harnesses cambiaran de posición con cada modelo. Por eso, los autores consideran la elección del modelo y del harness como una decisión conjunta.
- También varían los tipos de fallo
Los autores también clasificaron 1.100 ejecuciones fallidas mediante una taxonomía basada en evidencia que distingue cinco mecanismos de fallo conductual. Los patrones de fallo variaron entre combinaciones, así que la resolución no fue la única medida que cambió. La evidencia disponible no especifica los nombres de las categorías ni sus tasas individuales.
- La eficiencia depende de la combinación
Entre las combinaciones con harnesses que usan ciclos de trabajo dirigidos por el modelo, los tokens cobrados por tarea resuelta variaron en más de un factor de 20. Esta medida divide los tokens cobrados por las tareas resueltas, y la variación informada corresponde a ese subconjunto de harnesses.
En conjunto, los resultados respaldan comparar las combinaciones por resolución de tareas, patrones de fallo y uso de tokens dentro de los modelos y tareas evaluados.
Detalles
- Autores del paper original
- Lu Zhao, Christopher M. Poskitt, David Lo
- Enviado a arXiv
- Licencia
- arXiv non-exclusive