ES
Un entorno puede perjudicar a un agente congelado y ayudarlo tras reentrenarlo
Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces · arXiv:2610.37255
En palabras sencillas
El entorno de un agente reúne las instrucciones, herramientas y reglas que determinan cómo un modelo de lenguaje afronta una tarea. Este artículo presenta un método y una teoría para separar lo que ese entorno podría permitir de lo bien que un modelo entrenado en particular sabe aprovecharlo.
En una prueba de tareas web, cambiar la forma de presentar la observación perjudicó a un modelo congelado, aunque las mejores decisiones no cambiaron. En otra prueba, un entorno nuevo primero redujo el éxito del modelo, pero le permitió rendir mejor después de entrenarlo de nuevo. Estos resultados corresponden a los modelos y las tareas evaluados.
La investigación
Cuando un agente basado en un modelo de lenguaje rinde peor después de cambiar sus instrucciones, herramientas o reglas de control, ¿el entorno revisado es menos capaz o el modelo entrenado simplemente no se ajusta bien a él?
Una comparación con el modelo congelado no basta para distinguir esas explicaciones, pero la respuesta cambia cómo interpretamos una revisión del entorno.
El método separa el máximo retorno posible de un entorno del desajuste del modelo, y luego estudia cómo el reentrenamiento cambia el valor de una revisión.
Los autores modelan cómo el entorno de un agente influye en sus decisiones y retorno, y luego separan el potencial del entorno del ajuste del modelo entrenado. Así se puede preguntar si una revisión que reduce la puntuación de un modelo congelado podría ser beneficiosa después de entrenarlo más.
En MiniWoB++, un cambio de H0 a H1 redujo el éxito del modelo congelado, pero la rama adaptada a H1 superó tanto al punto de control original con H0 como a una continuación con H0 que recibió el mismo número de actualizaciones, en la finalización exacta de las tareas.
Esto respalda la explicación de que la adaptación puede reducir el desajuste lo suficiente para aprovechar el mayor potencial de un entorno.
Los resultados formales suponen espacios finitos de estados y acciones, recompensas acotadas y otras condiciones compartidas para las comparaciones.
Las estimaciones para el agente de programación usan un modelo más potente como sustituto de un óptimo, a partir de tres tareas de prueba; el estudio no establece que ese modelo sea óptimo ni que las estimaciones se generalicen a otros sistemas.
Qué muestran las pruebas
- Qué mide una comparación de entornos
El artículo presenta un método y una teoría para analizar los entornos de los agentes: las instrucciones, herramientas y reglas de control que plantean tareas a un modelo de lenguaje y ejecutan sus resultados. Pregunta si comparar entornos con un solo modelo fijo mide el potencial del entorno o el ajuste del modelo a este.
La distinción importa porque un modelo entrenado puede conservar preferencias aprendidas con su entorno original.
- Separar el potencial del ajuste
La teoría descompone el retorno obtenido en dos partes: el techo del entorno, o el mejor retorno que cualquier política podría alcanzar en él, y el desajuste, es decir, el retorno que una política concreta pierde por sus decisiones.
El retorno obtenido equivale al techo menos el desajuste. Entrenar con un entorno fijo cambia el desajuste, mientras que una revisión del entorno puede cambiar ambos componentes; por eso, una puntuación con el modelo congelado puede mezclarlos.
- Las mismas mejores decisiones, otra conducta
Un control de formato probó un punto de control congelado de Qwen3.5-2B, entrenado con H0. Invertir el orden de los campos de la observación, sin cambiar su contenido ni la mecánica de la tarea, dejó intactas las decisiones óptimas.
Aun así, la acción más probable del modelo cambió en el 52% de los estados y la finalización exacta de la tarea cayó del 85.0% al 19.2% en el conjunto de prueba fijo de MiniWoB++. En este cambio concreto, la interfaz afectó a cómo el modelo expresó sus preferencias aprendidas.
- La revisión rinde tras el entrenamiento
La prueba de H0 a H1 añadió pares ordenados de clics que el agente podía ejecutar en una sola decisión. Con los pesos congelados, el éxito cayó del 85.05% con H0 al 72.90% con H1.
Tras 1,024 actualizaciones adicionales con H1, el éxito alcanzó el 88.17%, por encima tanto del punto de control original con H0 como de una continuación con H0 que recibió el mismo número de actualizaciones y alcanzó el 83.37%. En esta prueba, la revisión que perjudicó al modelo congelado le ayudó después de la adaptación.
- Predicciones probadas en varios cambios
Antes de la adaptación, las estimaciones de techo y desajuste de los autores ordenaron mejor las mejoras posteriores en ocho cambios de entorno que cumplían los criterios que los cambios del retorno con el modelo congelado.
En un estudio aparte con agentes de programación, las estimaciones basadas en un modelo de referencia ordenaron cinco entornos igual que su precisión medida, aunque no se sabía si ese modelo era óptimo. En los contextos evaluados, estos resultados respaldan valorar por separado el potencial de un entorno y el ajuste de un modelo concreto.
Detalles
- Autores del paper original
- Jian Mu, Ruibo Shen, Yao Shu
- Enviado a arXiv
- Licencia
- CC BY 4.0