IT
AT-AT migliora gli strumenti condivisi usando le esecuzioni passate degli agenti
AT-AT: Automatic Tool Optimization from Agent Traces · arXiv:2610.34679
In parole semplici
Gli agenti usano strumenti per trovare informazioni e svolgere azioni, ma chi mantiene strumenti condivisi potrebbe non poter controllare gli agenti che li usano. AT-AT è un metodo che legge esecuzioni precedenti valutate e usa un agente di programmazione per modificare le istruzioni degli strumenti e, quando consentito, il codice che li fa funzionare.
Nei compiti di assistenza clienti simulati e tenuti da parte del settore Telecom, l’agente predefinito del test ha ottenuto un punteggio medio di completamento più alto con gli strumenti di AT-AT che con quelli originali. Il risultato è una media tra compiti e prove ripetute, non una garanzia per ciascun compito.
La ricerca
Quando molti agenti dipendono dagli stessi strumenti, chi li fornisce può migliorarne i risultati usando esecuzioni passate senza modificare gli agenti?
La domanda conta perché le descrizioni guidano la scelta degli strumenti e dei relativi argomenti, mentre le implementazioni determinano le informazioni e gli errori restituiti dopo una chiamata.
AT-AT usa esecuzioni degli agenti valutate per guidare modifiche selettive alle descrizioni e al codice degli strumenti condivisi, con l’obiettivo di migliorare i risultati mantenendo invariati gli agenti.
Gli autori chiedono se sia possibile migliorare gli strumenti condivisi usando l’esperienza passata degli agenti, quando chi li fornisce non può modificare gli agenti stessi.
La domanda è rilevante perché le descrizioni influenzano quali strumenti gli agenti chiamano, mentre le implementazioni determinano le informazioni e gli errori che ricevono.
AT-AT fornisce a un agente di programmazione tracce valutate e il codice degli strumenti, così che possa individuare errori ricorrenti e modificare selettivamente le descrizioni e, quando consentito, le implementazioni. Nei compiti simulati di assistenza clienti del settore Telecom tenuti da parte, il punteggio medio di completamento dell’attività assegnato dal valutatore è salito dal 29.50% con gli strumenti originali al 36.75% con quelli di AT-AT. Il confronto appaiato tra compiti e prove ripetute supporta un miglioramento in questo ambiente.
Il risultato sul benchmark deriva da un solo insieme di strumenti ottimizzato per ciascun ottimizzatore, quindi non mostra quanto varino i risultati tra diverse esecuzioni dell’ottimizzazione.
La valutazione in produzione ha riguardato tre server selezionati durante un solo periodo: per stabilire la robustezza servono valutazioni ripetute su più deployment e in momenti diversi.
Cosa mostrano le prove
- Migliorare gli strumenti senza cambiare gli agenti
AT-AT (Automatic Tool Optimization from Agent Traces) è un metodo per migliorare strumenti condivisi usando esecuzioni precedenti degli agenti, valutate, e mantenendo invariati gli agenti stessi. Risponde a un vincolo pratico descritto dagli autori: chi fornisce strumenti usati da molti agenti può occuparsene senza poter modificare gli agenti.
La descrizione di uno strumento influenza quale strumento l’agente sceglie e come lo usa; l’implementazione determina le informazioni e gli errori che riceve dopo una chiamata.
- Usare le esecuzioni passate per guidare le modifiche
Il metodo fornisce a un agente di programmazione tracce valutate e il codice degli strumenti; l’agente cerca schemi ricorrenti di errore e apporta modifiche selettive. Può cambiare le descrizioni e, quando consentito, le implementazioni.
La distinzione conta perché istruzioni migliori possono influenzare una chiamata prima che avvenga, mentre il codice dell’implementazione può cambiare le informazioni restituite dopo la chiamata. Le modifiche si basano offline su esecuzioni già disponibili e non richiedono nuove esecuzioni degli agenti durante l’ottimizzazione.
- Un miglioramento in Telecom sui compiti tenuti da parte
Il miglioramento misurato più chiaro è emerso da τ²-bench-verified, un test in cui gli agenti completano compiti simulati di assistenza clienti. Nei compiti Telecom tenuti da parte, il punteggio medio di completamento assegnato dal valutatore è salito dal 29.50% con gli strumenti originali al 36.75% con quelli di AT-AT, come media tra compiti e 30 prove per ciascun compito.
Un test di permutazione appaiato ha rilevato che la differenza era statisticamente significativa. Il risultato supporta un miglioramento medio in quell’ambiente, non un’affermazione valida per ogni compito o esecuzione.
- Il confronto ha un fattore confondente
Una versione limitata alla modifica delle descrizioni ha ottenuto risultati nettamente peggiori di AT-AT completo in Airline e Telecom, mentre in Retail non è emersa una differenza significativa rispetto agli strumenti originali.
Il confronto, però, ha modificato due aspetti: il permesso di intervenire sul codice e la presenza delle tracce nella richiesta utente dell’ottimizzatore. Di conseguenza, il risultato non isola l’effetto delle modifiche alle implementazioni.
Separatamente, un’analisi con LLM ha stimato una quota maggiore di errori affrontabili intervenendo sulle implementazioni in Telecom rispetto a Retail, ma ha classificato solo un piccolo campione.
- Esiti diversi in produzione
Il test in produzione ha esaminato un contesto diverso: tre server di Netflix, sui quali AT-AT ha modificato le descrizioni a partire da tracce di compiti precedenti. Il tasso di superamento dei compiti tenuti da parte è aumentato sul server Engineering Context, è rimasto invariato su Dev Tools ed è rimasto a zero su Collab Toolbox.
Gli errori degli strumenti e/o i costi di sessione sono diminuiti su tutti e tre, ma anche i punteggi dei contenuti sono scesi su due. I risultati mostrano esiti diversi a seconda del server e della misura, non un aumento uniforme dei compiti superati.
Dettagli
- Autori del paper originale
- Maya Ravichandran, Pragya Tripathi, Dharamendra Kumar, Adith Swaminathan, Nathan Kallus
- Inviato ad arXiv
- Licenza
- CC BY 4.0