ES
Una prueba para saber si los agentes trasladan la experiencia a tareas posteriores
Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents · arXiv:2610.33956
En palabras sencillas
El Continual Learning Exam evalúa si los agentes basados en modelos de lenguaje pueden aprovechar lo aprendido en una tarea de trabajo para resolver tareas posteriores. Sus 120 tareas tienen cinco pasos conectados, y el agente debe aprobar cada paso para llegar al siguiente.
En las 17 configuraciones evaluadas, ofrecer comentarios y permitir una revisión tras una entrega fallida elevó en 5,33 puntos porcentuales la mediana de finalización, medida como la proporción de los 600 niveles aprobados.
La comparación combina esos dos cambios, así que no permite aislar el efecto de la experiencia que el agente conserva de una tarea a otra.
La investigación
Muchas pruebas califican las tareas una por una, así que no pueden responder si la experiencia de un agente le sirve para trabajos posteriores.
Sigue sin estar claro cómo medir esa transferencia entre encargos cuando el trabajo posterior puede depender de información, archivos y procedimientos anteriores.
El Continual Learning Exam conecta encargos profesionales en secuencias de tareas con niveles condicionados para medir si los agentes trasladan la experiencia a trabajos posteriores.
¿Pueden los agentes aprovechar la experiencia de encargos anteriores para rendir mejor en los posteriores? El Continual Learning Exam conecta cinco encargos distintos en cada tarea profesional y exige que el agente apruebe cada nivel antes de avanzar.
Un evaluador independiente contrasta las entregas con criterios definidos por personas, mientras que la finalización global cuenta los niveles aprobados de un total de 600.
En las 17 configuraciones, la mediana de finalización aumentó 5,33 puntos porcentuales cuando los agentes podían recibir comentarios y revisar una entrega fallida.
La comparación respalda un beneficio de esa oportunidad combinada, pero la mejor configuración evaluada todavía aprobó menos de la mitad de todos los niveles.
La comparación entre pruebas cambia a la vez la disponibilidad de comentarios y la posibilidad de revisar la entrega, por lo que no permite determinar cuánto contribuyó a los resultados la experiencia conservada entre tareas. Los resultados describen las configuraciones evaluadas con este orden de tareas y este procedimiento de calificación.
Qué muestran las pruebas
- Una medida que faltaba
El Continual Learning Exam (CLE) es una prueba para evaluar si los agentes basados en modelos de lenguaje pueden conservar y reutilizar experiencia en tareas profesionales posteriores. Muchas pruebas existentes califican cada tarea por separado, mientras que las pruebas de memoria piden a los agentes recuperar información de conversaciones anteriores.
Ninguna mide directamente si esa experiencia mejora la ejecución de tareas posteriores. El CLE aborda esa carencia con tareas conectadas y una medida del avance a lo largo de una secuencia prolongada de trabajo.
- Cada encargo se apoya en los anteriores
Cada una de las 120 tareas del CLE es una secuencia de cinco niveles con encargos distintos dentro de un mismo contexto profesional. Los niveles posteriores pueden depender de archivos, información, procedimientos, estrategias, preferencias del usuario o conocimientos del área de los niveles anteriores.
El agente avanza solo si aprueba el nivel actual. Así, el trabajo posterior depende del avance previo, y un fallo puede dejar sin alcanzar los niveles restantes de esa tarea.
- Cómo se califica el rendimiento
Un agente evaluador independiente contrasta cada entrega con criterios de una rúbrica y materiales de referencia definidos por personas, que permanecen ocultos para el agente evaluado. Este debe cumplir todos los puntos de la rúbrica.
En la Prueba 1 se permite una entrega por nivel y no se ofrecen comentarios de diagnóstico; en la Prueba 2 se dan comentarios tras un primer intento fallido y se permite una revisión. La finalización global es la proporción de los 600 niveles aprobados; los niveles no alcanzados cuentan como fallos.
- Los comentarios ayudan, con límites
En las 17 configuraciones, la mediana de finalización global aumentó 5,33 puntos porcentuales entre la Prueba 1 y la Prueba 2. La comparación mide el efecto combinado de los comentarios de diagnóstico y la oportunidad adicional de revisar el trabajo.
La mejor configuración evaluada en la Prueba 2 aprobó el 47,67 % de los niveles, lo que muestra que esa oportunidad adicional no hizo habitual completar toda la secuencia entre los sistemas evaluados.
- El avance disminuye a lo largo de la secuencia
La tasa mediana acumulada de aprobación entre configuraciones bajó del 62,50 % en el primer nivel al 8,33 % en el quinto. Estas tasas cuentan la proporción de las 120 tareas en las que se aprobaron todos los primeros uno o cinco niveles; por eso, la tasa del quinto nivel representa la finalización de la tarea completa.
La diferencia muestra que el avance inicial a menudo no se mantuvo a lo largo de toda la secuencia. Como las pruebas tampoco aíslan el conocimiento conservado, no permiten establecer cuánto contribuye ese conocimiento al rendimiento.
Detalles
- Autores del paper original
- Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin
- Enviado a arXiv
- Licencia
- CC BY 4.0