ES
HarnessPro mejora el éxito de los agentes con menor costo
HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs · arXiv:2610.26770
En palabras sencillas
El harness de un agente es el software que guía cómo un modelo de IA usa herramientas y trabaja en tareas. Añadir más comprobaciones o exploración puede ayudar al agente a tener éxito, pero también puede encarecer cada tarea.
HarnessPro estudia cómo mejorar ese software mediante registros de intentos anteriores. Evalúa los cambios propuestos con pruebas generadas y conserva opciones orientadas a reducir el costo, equilibrar costo y rendimiento, o mejorar el rendimiento.
En una prueba de tareas de terminal, su opción enfocada en el rendimiento superó más tareas con un costo promedio menor que el método de comparación, usando GPT-5.5 y Codex.
La investigación
Cuando un agente de IA tiene más éxito tras añadir razonamiento o comprobaciones, ¿tiene que costar también más cada tarea? Recortar esos pasos sin criterio puede perjudicar el éxito; el desafío es encontrar qué trabajo ayuda y cuál añade un gasto evitable.
HarnessPro usa comentarios de ejecución y pruebas generadas para evolucionar los harnesses de agentes y elegir opciones que equilibran el éxito en las tareas y el costo de ejecución.
En Terminal-Bench 2, una prueba de tareas de terminal, pass rate mide cuántas tareas superan todas las pruebas oficiales. Con GPT-5.5 y Codex, la opción de HarnessPro enfocada en el rendimiento promedió un pass rate del 80,8 % y $0.72 por tarea en tres ejecuciones. En la comparación reportada, RHO registró un 76,3 % y $1.09 por tarea.
Este resultado muestra que, en esta configuración, HarnessPro logró un mayor éxito en las tareas con un costo promedio menor. La evaluación más amplia también abarca SWE-Bench Pro, que prueba la resolución de problemas en repositorios, y ProgramBench, que prueba la reconstrucción de programas; además, utiliza una segunda configuración de modelo y agente.
Esos resultados aportan otros entornos evaluados, pero no permiten extender las cifras de Terminal-Bench 2 a todos los sistemas.
Estos resultados abarcan tres pruebas y dos configuraciones de modelo y agente; las actualizaciones se desarrollaron con 10 tareas de entrenamiento por prueba.
Las cifras de Terminal-Bench 2 son promedios de tres ejecuciones de HarnessPro; no establecen que se den las mismas diferencias en otros entornos.
Qué muestran las pruebas
- La tensión entre éxito y costo
El harness de un agente es el software que gestiona cómo interactúa un modelo de IA con su entorno.
Mejorarlo puede aumentar el éxito en las tareas al añadir razonamiento, exploración o verificación, pero estas actividades también pueden elevar el costo de ejecución. La pregunta de investigación es cómo mejorar el éxito sin pagar más por cada tarea y evitando recortes que eliminen cómputo útil.
- Cómo evoluciona HarnessPro
HarnessPro usa registros de ejecución del agente para diagnosticar fallos y trabajo evitable, y después crea y evalúa versiones revisadas del harness de forma iterativa. Su agente de síntesis de pruebas genera pruebas a partir de descripciones de tareas y registros del harness inicial.
Los candidatos se evalúan con las mismas pruebas generadas, sin soluciones correctas conocidas, pruebas oficiales ni comentarios del evaluador; el método conserva opciones para distintas prioridades entre rendimiento y costo.
- Evaluación de la detección de fallos
Una comparación preliminar comprobó si las pruebas generadas o los juicios directos de un modelo de lenguaje identificaban mejor los fallos de las tareas. Failure recall, la proporción de fallos identificados, fue del 83,3 % con pruebas generadas y del 41,7 % con juicios directos.
Este resultado diagnóstico respalda la evaluación de candidatos basada en pruebas; por sí solo, no muestra que el método completo mejore los resultados de las tareas.
- Un resultado principal acotado
En Terminal-Bench 2, que prueba tareas de terminal, pass rate indica la proporción de tareas que superan todas las pruebas oficiales. Con GPT-5.5 y Codex, la opción de HarnessPro enfocada en el rendimiento tuvo un pass rate promedio del 80,8 % y un costo promedio de $0.72 por tarea en tres ejecuciones.
En la comparación reportada, RHO registró un 76,3 % y $1.09 por tarea; en esta configuración, HarnessPro logró un mejor resultado conjunto de éxito y costo.
- Hasta dónde llega la evidencia
La evaluación también incluye SWE-Bench Pro, que prueba la resolución de problemas en repositorios, y ProgramBench, que prueba la reconstrucción de programas. Se combinaron con GPT-5.5 y Codex o con GLM-5.2 y Claude Code.
Se reportan el éxito en las tareas, el costo promedio y la latencia, con tres ejecuciones de HarnessPro en Terminal-Bench 2 y SWE-Bench Pro y dos en ProgramBench. Estas configuraciones adicionales amplían la evaluación, pero no hacen universales las cifras de Terminal-Bench 2.
Detalles
- Autores del paper original
- Zhuoshi Pan, ZhiYuan Feng, Yukuo Cen, Honglin Lin, Junru Lu
- Enviado a arXiv
- Licencia
- CC BY 4.0