IT
Un metodo crea interazioni di addestramento fondate per l'uso di strumenti
Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents · arXiv:2610.33568
In parole semplici
Gli agenti che usano strumenti imparano da esempi di conversazioni e azioni, ma molti esempi possono essere brevi o non mostrare come recuperare dopo un errore. Questo articolo presenta Trajectory2Gym, un metodo che crea interazioni in ambienti di attività reali e usa un'azione come obiettivo di addestramento solo quando l'agente potrebbe giustificarla in base a ciò che aveva visto.
Gli autori hanno addestrato cinque dimensioni di modello Qwen3 con questi dati. I punteggi sono aumentati a ogni dimensione testata, rispetto alla versione iniziale di ciascun modello, nelle attività di uso di strumenti con stato e di chiamata di funzioni.
La valutazione ha però dei limiti, tra cui l'uso di attività già viste per un gruppo di attività Tau1.
La ricerca
Un esempio di uso di strumenti può terminare con successo senza insegnare a un agente come una decisione successiva dipenda da evidenze precedenti o se un'azione fosse giustificata da ciò che poteva vedere. Nel corpus comune degli autori erano rari gli esempi con decisioni distribuite su più passaggi e un recupero fondato dopo un errore.
Si possono costruire dati di addestramento che coprano queste dipendenze e mantengano gli obiettivi apprendibili a partire dalla cronologia dell'agente?
Trajectory2Gym costruisce interazioni per l'uso di strumenti concentrandosi sulle dipendenze sottorappresentate, verifica gli obiettivi in base alle informazioni visibili e assegna lo stesso peso a ogni interazione durante l'addestramento.
Gli autori hanno addestrato per un'epoca ciascuna di cinque dimensioni di Qwen3 su interazioni selezionate e ponderate da Trajectory2Gym, poi l'hanno confrontata con la propria inizializzazione pubblica.
In Tau1 e Tau2, che verificano l'uso di strumenti con stato, la media con uguale peso dei risultati di successo delle attività negli ambienti originali è aumentata a ogni dimensione; è aumentato anche il punteggio complessivo di BFCL per la chiamata di funzioni.
Questi confronti tra modelli iniziali e addestrati sostengono la conclusione che la ricetta completa di post-addestramento abbia migliorato i punteggi nelle attività testate, nelle condizioni riportate.
Anche i controlli abbinati con Qwen3-8B indicano un possibile contributo degli obiettivi fondati sulle informazioni disponibili e della selezione strutturale, sebbene i miglioramenti contenuti siano indicazioni sulla direzione.
I risultati a confronto riguardano i modelli Qwen3 e le popolazioni di attività testati; ogni attività è stata eseguita una sola volta. Tau1 Airline usa le stesse identità di attività nella costruzione delle interazioni per l'addestramento e nella valutazione, quindi in questo caso non verifica la generalizzazione ad attività escluse dall'addestramento.
I controlli con Qwen3-8B, eseguiti una sola volta per condizione, forniscono indicazioni sulla direzione di miglioramenti più contenuti.
Cosa mostrano le prove
- La lacuna nei dati
Trajectory2Gym è un metodo per costruire e selezionare interazioni di addestramento per agenti che usano strumenti. Affronta due debolezze del corpus comune disponibile: il 40.9% delle sue 34,772 interazioni certificate conteneva al massimo due decisioni dell'assistente usate come obiettivi di addestramento, e il 10.0% includeva una decisione fondata sulle informazioni disponibili dopo un errore autentico.
Questi dati sul corpus motivano una copertura più ampia delle dipendenze tra più passaggi e del recupero; non descrivono tutti i dati sull'uso di strumenti.
- Creare esperienza effettiva
Per aggiungere l'esperienza mancante, il metodo rappresenta le dipendenze tra decisioni e osservazioni come percorsi compositivi. Genera attività per i percorsi con pochi esempi di supporto, poi le esegue negli ambienti originali.
Un percorso proposto conta solo se le sue dipendenze compaiono davvero nell'interazione risultante. In questo modo, l'insieme di addestramento riflette l'esperienza incontrata dall'agente, invece di limitarsi a riprodurre strutture previste dal generatore.
- Verificare ogni decisione
Il successo di un'interazione non rende automaticamente valida ogni azione come obiettivo. Trajectory2Gym verifica che le decisioni usate per la supervisione rispettino il workflow richiesto, siano valide nell'ambiente in quel momento e siano giustificabili con le informazioni visibili all'agente quando decide.
Un'azione rifiutata e il relativo errore autentico possono restare nel contesto, mentre l'azione fallita non viene imitata e un successivo recupero fondato può diventare un obiettivo.
- Confrontare i modelli addestrati
Gli autori hanno addestrato cinque dimensioni di Qwen3 per un'epoca e hanno confrontato ciascuna con la propria inizializzazione pubblica. Tau1 e Tau2 misurano il successo delle attività negli ambienti originali per compiti di uso di strumenti con stato, calcolando la media con uguale peso tra i domini; la loro media, anch'essa con uguale peso, è aumentata a ogni dimensione.
Anche il punteggio complessivo di BFCL, che misura la chiamata di funzioni nei gruppi non live, live e multi-turno, è aumentato a ogni dimensione.
- Esaminare due componenti
Controlli abbinati con Qwen3-8B hanno esaminato due componenti del metodo. Mantenendo fisse interazioni e cronologie visibili, gli obiettivi fondati sulle informazioni disponibili al momento della decisione hanno aumentato di 2.75 punti la media dei tre test rispetto a obiettivi meno selettivi, ricavati dalle interazioni riuscite.
A parità di selezione e budget di token, la selezione strutturale ha coperto 942 percorsi canonici in più e aumentato di 2.32 punti quella media, anche se BFCL è sceso leggermente. Questi controlli, eseguiti una sola volta, indicano la direzione dei contributi, ma non sono stime additive del miglioramento complessivo del metodo.
Dettagli
- Autori del paper originale
- Yihao Hu, Zhihao Wen, Yitong Lin, Siyuan Lu, Pan Wang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive