ES
Un mayor esfuerzo de razonamiento puede pasar por alto éxitos más baratos
What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents · arXiv:2610.34491
En palabras sencillas
Los modelos de lenguaje se pueden configurar para que dediquen distintos niveles de esfuerzo a razonar sobre una tarea. Este artículo comprueba si un mayor esfuerzo se traduce de forma fiable en más éxitos y cuánto cuesta en ocho modelos y cuatro pruebas, incluidas tareas en las que un agente usa herramientas durante varios pasos.
Un mayor esfuerzo no siempre mantuvo resueltas las tareas que se habían resuelto con menos esfuerzo, y a menudo elevó los costes. Una estrategia que vuelve a intentarlo con esfuerzo alto solo después de que falle una comprobación de corrección mantuvo o mejoró el éxito en las evaluaciones, aunque no redujo los costes en todos los modelos y pruebas.
La investigación
Cuando un modelo de lenguaje resuelve una tarea, los usuarios no pueden saber si hacía falta el nivel de esfuerzo elegido.
Un esfuerzo adicional puede aumentar el coste, pero elegir de antemano un esfuerzo menor podría impedir encontrar una solución. La pregunta es si la evidencia por tarea permite ver cuándo ayuda el cómputo adicional y si otra forma de distribuir el esfuerzo puede reducir esa incertidumbre.
Los autores comparan los ajustes de esfuerzo tarea por tarea y prueban si volver a intentarlo con esfuerzo alto solo tras una comprobación fallida conserva el éxito con un coste menor.
Los autores comparan los ajustes de esfuerzo dentro de cada modelo y configuración de prueba; registran los resultados por tarea y el coste total en tokens de las ejecuciones de los agentes.
Observan que un mayor esfuerzo puede pasar por alto tareas resueltas con menos esfuerzo y cuesta más en las tareas resueltas con todos los ajustes.
También prueban empezar con poco esfuerzo y volver a intentarlo con más después de una comprobación externa de fallo. Esta estrategia de laddering mantuvo o mejoró el éxito en las evaluaciones, pero su ventaja de coste dependió de la prueba y del modelo.
Las tareas con agentes de la evaluación principal se ejecutaron una sola vez por nivel de esfuerzo, por lo que las inversiones observadas no demuestran que un mayor esfuerzo reduzca la probabilidad subyacente de éxito de una tarea.
Laddering también depende de una comprobación externa de corrección fiable y cobra por cada nuevo intento.
Qué muestran las pruebas
- Qué cambia con el esfuerzo
Este artículo audita, tarea por tarea, cómo influye el esfuerzo de razonamiento de los modelos de lenguaje en el éxito, el coste de ejecución y el comportamiento de los agentes. Los autores comparan ajustes de esfuerzo específicos de cada modelo en cuatro pruebas: dos usan una sola llamada al modelo y dos incluyen agentes que actúan durante varios turnos.
La pregunta es si un esfuerzo mayor conserva de forma sistemática los éxitos logrados con menos esfuerzo y si cualquier éxito adicional justifica el coste extra.
- Los totales ocultan inversiones
Terminal-Bench 2.1 evalúa agentes en tareas de un entorno de terminal; aquí las puntuaciones indican cuántas tareas se resolvieron. Para GPT-5.6-sol, pasar de esfuerzo high a xhigh hizo perder ocho tareas y ganar cinco, con lo que el total bajó de 76 a 73 de 89.
Cada uno de los ocho modelos tuvo al menos una tarea resuelta con su esfuerzo más bajo que no resolvió con el más alto. Cada tarea se ejecutó una vez por ajuste, así que estas son inversiones observadas, no evidencia de una menor probabilidad de éxito.
- Más coste sin éxitos adicionales
Los autores también comparan el gasto en las tareas que cada modelo resolvió con todos los niveles de esfuerzo. En el piloto original de SWE-Bench Pro, que evalúa agentes en tareas de software de repositorios, el coste medio de API por tarea de GPT-5.6-sol aumentó de $0.27 con esfuerzo low a $1.24 con xhigh.
Como el conjunto incluía solo tareas resueltas con todos los ajustes, el aumento refleja un mayor gasto sin éxitos adicionales en esas mismas tareas.
- El entorno influye en las puntuaciones
La comparación entre los entornos original y corregido de SWE-Bench Pro ayuda a matizar las puntuaciones originales. El entorno corregido elimina el historial de los repositorios y limita el acceso a la red; en los mismos 44 casos, la tasa de resolución de GPT-5.6-sol con xhigh bajó del 77.3% al 59.1%.
Las tasas de los ocho modelos bajaron en su ajuste evaluado más alto. Como cambiaron tanto el historial como el acceso a la red, esta comparación no identifica por sí sola cuál de los dos cambios explica el resultado.
- La retroalimentación guía los reintentos
Por último, los autores prueban laddering: empezar con esfuerzo low y volver a intentarlo con esfuerzo high solo si una comprobación externa informa de un fallo. La estrategia igualó o mejoró el éxito frente al uso constante del ajuste más alto en los modelos y pruebas evaluados, pero el ahorro varió.
En Terminal-Bench, que evalúa agentes en tareas de un entorno de terminal, laddering mejoró la proporción de tareas resueltas en los ocho modelos; los costes bajaron en cuatro, mientras que los otros cuatro lograron más éxitos con un coste mayor. El método también requiere una señal externa fiable y paga por un nuevo intento.
Detalles
- Autores del paper original
- Kaiser Sun, Yongchan Kwon, Zain Hasan, Shang Zhu, Kaitlyn Zhou
- Enviado a arXiv
- Licencia
- CC BY 4.0