Arcade consente agli agenti di richiedere strumenti da un catalogo in evoluzione
In parole semplici
Gli agenti possono usare solo gli strumenti che ricevono, ma un elenco lungo occupa spazio in ogni richiesta e può diventare obsoleto. Il sistema Tool Recommendation di Arcade consente all’agente di descrivere un’attività e chiedere gli strumenti che gli servono, invece di ricevere l’intero catalogo.
In 304 delle 327 sessioni di Codex testate, la prima richiesta ha restituito tutti gli strumenti necessari al workflow. Le sessioni coprivano 30 workflow, quindi il risultato descrive questi test, non tutti gli agenti o tutte le attività.
La ricerca
Un agente può usare solo gli strumenti che gli sono stati forniti. Un elenco fisso e breve può limitare le attività che riesce a gestire, mentre inviarne uno lungo occupa più spazio di contesto a ogni richiesta.
Come può un agente raggiungere un catalogo in evoluzione senza dover includere ogni volta l’intero elenco?
Tool Recommendation consente agli agenti di richiedere strumenti da un catalogo in evoluzione tramite un’interfaccia fissa del gateway; lo studio ne valuta il ranking e i costi per sessione.
Il catalogo di strumenti di Arcade cambia, ma fornire all’agente un elenco fisso comporta un compromesso: un elenco breve può non bastare per un’attività, mentre uno lungo occupa spazio di contesto a ogni richiesta.
Può un agente raggiungere gli strumenti necessari senza includere l’intero catalogo in ogni richiesta?
Il sistema Tool Recommendation di Arcade consente agli agenti di richiedere strumenti tramite un’interfaccia fissa del gateway. Su ToolRet, un test che valuta il ranking degli strumenti in risposta alle richieste, il sistema ha inserito tutti gli strumenti necessari tra i primi dieci per una quota maggiore di richieste rispetto a BM25, usando lo stesso ambiente di valutazione.
Nei workflow multipasso confrontati a coppie, il costo aggregato era inoltre inferiore rispetto a un elenco statico di 100 strumenti.
Questi risultati provengono dal gateway di Arcade, da un test di ranking e da un insieme limitato di client e workflow predefiniti. Non dimostrano che altri gateway, client o carichi di lavoro otterrebbero lo stesso ranking o gli stessi risultati sui costi.
Analisi
Dettagli
- Autori del paper originale
- Sam Partee, River Stevens, Thierry Damiba, Valerie Fanelle
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive