Un planner aiuta gli agenti browser a usare abilità web esercitate
Back to Basics: A Skill-Centric Approach to Generalist Web Agents · arXiv:2610.35823
In parole semplici
Gli agenti browser devono compiere molte azioni diverse sui siti web, e basta che un passaggio vada storto perché un'attività fallisca. Questo studio presenta MiniWeb, un insieme di siti e attività che permette ai ricercatori di verificare quali interazioni gli agenti riescono a completare.
Gli autori hanno addestrato un piccolo modello open a esercitarsi su singole interazioni, poi lo hanno affiancato a un planner che suddivide le richieste più grandi in passaggi. L'esercizio da solo ha migliorato i risultati sulle singole interazioni, ma ha cambiato poco il successo nelle attività complete; il sistema combinato ha ottenuto risultati migliori sulle attività escluse dall'addestramento. Lo studio ha valutato un solo modello e un insieme limitato di siti.
La ricerca
Un'attività nel browser può dipendere da diverse interazioni con un sito, quindi esercitarsi su una singola interazione potrebbe non bastare per completare un'intera richiesta.
La domanda è se un agente possa trasformare quell'esercizio in prestazioni migliori su attività che non ha incontrato durante l'addestramento.
MiniWebAgent abbina un planner che suddivide le attività web in passaggi a un executor addestrato a svolgere interazioni riutilizzabili.
Gli autori hanno prima addestrato un singolo agente Qwen3.5-4B con esempi di singole interazioni. Il modello è migliorato nelle attività generate con una sola interazione, ma il successo è cambiato poco su un insieme separato di attività scritte da persone e svolte su siti esclusi dall'addestramento.
In seguito, gli autori hanno abbinato un executor addestrato a un planner non addestrato che suddivide le richieste in passaggi.
Su 62 attività escluse dall'addestramento, questo agente combinato ne ha superate il 58.1%, contro il 38.7% dell'agente singolo non addestrato, calcolando la media di tre esecuzioni.
Il risultato sostiene l'idea che la pianificazione possa aiutare ad applicare interazioni esercitate ad attività più lunghe, anche se il confronto non isola il contributo del planner da quello dell'executor.
I risultati provengono da un solo modello compatto open-weight e da un insieme limitato di siti e attività. MiniWebAgent abbina un planner non addestrato a un executor addestrato, quindi il confronto non mostra quanto del miglioramento dipenda da ciascuna parte presa singolarmente.
Cosa mostrano le prove
- Rendere misurabili le interazioni
MiniWeb è un benchmark per valutare gli agenti browser su attività web. Contiene 369 attività scritte da persone, composte da 37 interazioni riutilizzabili, o primitive, distribuite in sette famiglie di abilità.
Ogni attività indica quali interazioni richiede: il benchmark può quindi riportare sia se è stata superata l'attività completa, sia quali interazioni che la compongono sono riuscite.
- Individuare un punto debole comune
Questa suddivisione ha mostrato una debolezza ricorrente nei dieci agenti open-weight non addestrati valutati: per ognuno, trascinamenti e gesti erano la famiglia di abilità più debole. Considerando insieme gli agenti, è stato superato il 12.4% di quelle istanze di interazione, contro il 38.0% della famiglia successiva con il risultato più basso, input e output fuori dalla pagina.
I valori aggregati mostrano una lacuna nel gruppo testato, non una debolezza universale degli agenti browser.
- L'esercizio da solo non basta
MiniWebGen crea brevi esempi di addestramento per singole interazioni e li conserva quando un controllo sul backend verifica il risultato previsto. Addestrare Qwen3.5-4B con questi esempi ha portato il successo su 103 attività generate con una sola interazione dal 55.3% all'80.3%.
Su un insieme separato di 62 attività scritte da persone e svolte su siti esclusi dall'addestramento, invece, l'agente singolo addestrato ha superato il 39.2% delle attività, quasi quanto il 38.7% del modello non addestrato.
- Aggiungere un planner all'executor
MiniWebAgent è un agente browser che abbina un planner non addestrato, che divide una richiesta in passaggi, a un executor addestrato con gli esempi di MiniWebGen. Sulle 62 attività escluse dall'addestramento e scritte da persone, ha superato il 58.1%, contro il 38.7% dell'agente singolo non addestrato; entrambi i valori sono la media di tre esecuzioni.
I risultati mostrano che la configurazione combinata ha fatto meglio su queste attività, ma non attribuiscono l'intera differenza a una sola componente.
- Confrontare i dati di addestramento
I ricercatori hanno anche confrontato l'executor addestrato sulle abilità con uno addestrato su un insieme di dimensioni simili composto da traiettorie di attività complete, mantenendo invariati la configurazione planner-executor e il metodo di addestramento.
La versione addestrata sulle abilità ha ottenuto risultati superiori in tutte e quattro le valutazioni, ma solo il vantaggio su Online-Mind2Web è rimasto statisticamente significativo dopo la correzione per confronti multipli.
Questo sostiene l'addestramento incentrato sulle abilità nella configurazione testata, ma lascia incerta la portata del vantaggio negli altri test.
Dettagli
- Autori del paper originale
- Minh Pham-Dinh, Md Farhan Ishmam, Hernan Yupanqui, Reaz Hassan Joarder, Kenneth Marino
- Inviato ad arXiv
- Licenza
- CC BY-SA 4.0