Agent S4 hace evolucionar herramientas para usar computadoras a partir de tareas
En palabras sencillas
Los agentes que usan computadoras interactúan con programas mediante herramientas que les permiten ver y manejar un equipo. A menudo, las personas fijan esas herramientas de antemano, aunque una tarea distinta podría requerir otra forma de trabajar.
Agent S4 es un método que permite a un agente de software independiente mejorar un conjunto reutilizable de herramientas e instrucciones estudiando intentos de tareas. En una prueba con tareas de programas científicos, el conjunto evolucionado ayudó al mismo modelo a completar 99 de 169 tareas, frente a 93 con el conjunto inicial.
Esto muestra una mejora moderada en esa evaluación, pero no garantiza resultados similares con otros programas o tareas.
La investigación
Cuando las herramientas de un agente se fijan de antemano, quizá no se ajusten a la tarea, y añadir herramientas nuevas suele requerir trabajo manual.
¿Puede un agente mejorar un conjunto reutilizable de interfaces a partir de sus propios intentos, manteniendo fijos el modelo que resuelve las tareas y su sistema de ejecución durante esa búsqueda?
Agent S4 hace evolucionar interfaces e instrucciones reutilizables para usar computadoras a partir de intentos de tareas y luego selecciona un repositorio mediante puntuaciones de validación independientes.
En una prueba completa de tareas de uso de computadoras, la configuración evolucionada completó más tareas que el mismo modelo con interfaces fijas. La comparación también cambió el sistema de ejecución y el acceso al código, por lo que no permite aislar el efecto del repositorio.
En una prueba aparte con tareas de programas científicos, el repositorio evolucionado resolvió 99 de 169 tareas, frente a 93 con el repositorio inicial. Como el modelo y el sistema de ejecución eran iguales, este resultado respalda una mejora del repositorio en ese entorno.
La comparación de OSWorld V2 también cambió el sistema de ejecución y el acceso a la ejecución de código, por lo que no permite determinar cuánto de la mejora se debió únicamente al repositorio. Los ejemplos seleccionados de tareas ilustran mecanismos posibles, pero no son comparaciones controladas.
Análisis
Detalles
- Autores del paper original
- Saaket Agashe, Yuzhe Yang, Gonzalo Gonzalez-Pumariega, Bhuvan Chandra Koduru, Chih-Lun Li
- Enviado a arXiv
- Licencia
- CC BY 4.0