Un planificador ayuda a los agentes a usar habilidades web practicadas
Back to Basics: A Skill-Centric Approach to Generalist Web Agents · arXiv:2610.35823
En palabras sencillas
Los agentes de navegación deben hacer muchas cosas distintas en sitios web, y una tarea puede fallar si sale mal un solo paso. Este artículo presenta MiniWeb, un conjunto de sitios y tareas que permite comprobar qué interacciones pueden completar los agentes.
Los autores entrenaron un modelo pequeño de pesos abiertos para practicar interacciones individuales y luego lo combinaron con un planificador que divide las solicitudes grandes en pasos. La práctica por sí sola mejoró las puntuaciones en interacciones individuales, pero apenas cambió el éxito en tareas completas; el sistema combinado obtuvo mejores resultados en tareas reservadas para la evaluación. El estudio probó un modelo y un conjunto limitado de sitios web.
La investigación
Una tarea de navegación puede depender de varias interacciones distintas con un sitio web, así que practicar una sola quizá no baste para completar una solicitud entera. La pregunta es si un agente puede convertir esa práctica en un mejor desempeño en tareas que no vio durante el entrenamiento.
MiniWebAgent combina un planificador que divide las tareas web en pasos con un ejecutor entrenado para realizar interacciones reutilizables.
Los autores primero entrenaron un único agente Qwen3.5-4B con ejemplos de interacciones individuales. Mejoró en tareas generadas de una sola interacción, pero apenas cambió su tasa de éxito en otro conjunto de tareas redactadas por personas y correspondientes a sitios reservados.
Después combinaron un ejecutor entrenado con un planificador sin entrenar que divide las solicitudes en pasos.
En 62 tareas reservadas, este agente combinado aprobó el 58,1 %, frente al 38,7 % del agente individual sin entrenar, según el promedio de tres ejecuciones.
Esto respalda la idea de que la planificación puede ayudar a aplicar interacciones practicadas en tareas más largas, aunque la comparación no aísla la contribución del planificador y del ejecutor.
Estos resultados proceden de un único modelo compacto de pesos abiertos y de un conjunto limitado de sitios web y tareas. MiniWebAgent combina un planificador sin entrenar con un ejecutor entrenado, así que la comparación no permite determinar cuánto aporta cada parte por separado.
Qué muestran las pruebas
- Medir las interacciones
MiniWeb es un benchmark para evaluar agentes de navegación en tareas web. Contiene 369 tareas redactadas por personas, construidas a partir de 37 interacciones reutilizables, o primitives, agrupadas en siete familias de habilidades.
Cada tarea indica qué interacciones requiere, así que el benchmark puede informar tanto si se aprobó la tarea completa como qué interacciones que la componen tuvieron éxito.
- Detectar una debilidad común
Ese desglose mostró una debilidad constante entre los diez agentes de pesos abiertos sin entrenar que se evaluaron: arrastrar y gesticular fue la familia de habilidades más débil para todos.
Al agrupar los resultados, se aprobaron el 12,4 % de esas interacciones, frente al 38,0 % de la siguiente familia con peores resultados: entrada y salida fuera de la página. Las cifras agrupadas revelan una brecha en este grupo evaluado, no una debilidad universal de los agentes de navegación.
- La práctica por sí sola no basta
MiniWebGen crea ejemplos breves de entrenamiento para interacciones individuales y los conserva cuando una comprobación del servidor verifica el resultado previsto. Entrenar Qwen3.5-4B con estos ejemplos elevó la tasa de éxito en 103 tareas generadas de una sola interacción del 55,3 % al 80,3 %.
Sin embargo, en otro conjunto de 62 tareas redactadas por personas en sitios reservados, el agente individual entrenado aprobó el 39,2 %, casi lo mismo que el modelo sin entrenar, que obtuvo un 38,7 %.
- Añadir un planificador
MiniWebAgent es un agente de navegación que combina un planificador sin entrenar, que divide una solicitud en pasos, con un ejecutor entrenado mediante ejemplos de MiniWebGen. En las 62 tareas reservadas redactadas por personas, aprobó el 58,1 %, frente al 38,7 % del agente individual sin entrenar; ambas cifras son promedios de tres ejecuciones.
Los resultados muestran que la configuración combinada obtuvo mejores resultados en estas tareas, pero no atribuyen toda la diferencia a uno u otro componente por separado.
- Comparar los datos de entrenamiento
Los investigadores también compararon el ejecutor entrenado en habilidades con otro entrenado con un conjunto de tamaño similar de trayectorias de tareas completas, manteniendo la misma configuración de planificador y ejecutor y la misma receta de entrenamiento.
La versión entrenada en habilidades obtuvo puntuaciones más altas en las cuatro evaluaciones, pero, tras corregir por comparaciones múltiples, solo su ventaja en Online-Mind2Web siguió siendo estadísticamente significativa.
Esto respalda el entrenamiento centrado en habilidades en la configuración evaluada, aunque deja incierta la solidez de la ventaja en las demás pruebas.
Detalles
- Autores del paper original
- Minh Pham-Dinh, Md Farhan Ishmam, Hernan Yupanqui, Reaz Hassan Joarder, Kenneth Marino
- Enviado a arXiv
- Licencia
- CC BY-SA 4.0