Arcade permite que los agentes soliciten herramientas de un catálogo cambiante
En palabras sencillas
Los agentes solo pueden usar las herramientas que se les ofrecen, pero una lista larga ocupa espacio en cada solicitud y puede quedar desactualizada. El sistema Tool Recommendation de Arcade permite que un agente describa una tarea y solicite herramientas cuando las necesita, en vez de recibir todo el catálogo.
En 304 de las 327 sesiones de Codex evaluadas, la primera solicitud devolvió todas las herramientas necesarias para el flujo de trabajo. Esas sesiones abarcaron 30 flujos, así que el resultado describe estas pruebas, no todos los agentes ni todas las tareas.
La investigación
Un agente solo puede usar las herramientas que se le han proporcionado. Una lista fija y breve puede limitar las tareas que puede abordar, mientras que enviar una lista larga consume más contexto en cada solicitud.
¿Cómo puede acceder un agente a un catálogo cambiante sin tener que llevar la lista completa cada vez?
Tool Recommendation permite que los agentes soliciten herramientas de un catálogo cambiante mediante una interfaz fija de gateway, y el estudio evalúa su clasificación y el costo por sesión.
El catálogo de herramientas de Arcade cambia, pero ofrecerle al agente una lista fija crea una disyuntiva: una lista pequeña puede no incluir las herramientas necesarias para una tarea, mientras que una grande consume contexto en cada solicitud.
¿Puede un agente acceder a las herramientas que necesita sin llevar todo el catálogo en cada solicitud?
El sistema Tool Recommendation de Arcade permite que los agentes soliciten herramientas mediante una interfaz fija de gateway.
En ToolRet, una prueba que clasifica herramientas para consultas, incluyó todas las herramientas necesarias entre las diez primeras en una proporción mayor de consultas que BM25, usando el mismo sistema de evaluación. En los flujos de trabajo emparejados de varios pasos, el costo combinado también fue menor que con una lista estática de 100 herramientas.
Estos resultados proceden del gateway de Arcade, una prueba de clasificación y un conjunto limitado de clientes y flujos de trabajo preparados para las pruebas. No establecen que otros gateways, clientes o cargas de trabajo obtengan la misma clasificación ni los mismos resultados de costos.
Análisis
Detalles
- Autores del paper original
- Sam Partee, River Stevens, Thierry Damiba, Valerie Fanelle
- Enviado a arXiv
- Licencia
- arXiv non-exclusive