IT
Gli agenti possono migliorare i propri strumenti raggruppando capacità condivise
The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents · arXiv:2610.36077
In parole semplici
Trinity è un framework che migliora il software che organizza le azioni e i moduli riutilizzabili di un agente multimodale, mantenendo fisso il modello sottostante. Raggruppa le attività che richiedono capacità simili, crea mondi di pratica più semplici e usa il feedback per migliorare il software.
Nelle medie di 28 attività di addestramento e 18 attività non viste, la quarta versione ha ottenuto punteggi più alti di quella iniziale. Base Harness è stato valutato senza moduli appresi né skill preparate; ogni versione evoluta ha usato skill preparate con cinque prove specifiche per quell’Harness. Il confronto riguarda quindi sia il software evoluto sia le skill usate con le versioni evolute.
La ricerca
Quando gli agenti affrontano attività diverse, creare ambienti di pratica verificabili è costoso, mentre adattare un sistema di azioni a ogni singola attività può limitarne il trasferimento. Le capacità condivise possono offrire un modo per organizzare miglioramenti che si trasferiscono tra attività? Trinity mette alla prova questa domanda raggruppando le attività in base alle capacità richieste.
Trinity raggruppa le attività in base alle capacità condivise, crea mondi di pratica verificabili ed evolve moduli riutilizzabili per le azioni mantenendo fisso il modello sottostante.
Per verificare il trasferimento, il gruppo ha confrontato due alberi delle capacità dopo un ciclo: uno ha appreso dalle attività originali e l’altro da mondi simulati verificati. Entrambi hanno usato la stessa struttura ad albero e sono stati valutati con i soli moduli.
I driver delle attività hanno assegnato un punteggio agli esiti; i ricercatori hanno calcolato la media semplice dei punteggi specifici, da 0 a 100, per 28 test di addestramento e 18 test non visti.
L’addestramento nei mondi simulati ha ottenuto punteggi più alti in entrambe le suddivisioni, sostenendo il trasferimento, sebbene i costi in token fossero diversi.
I confronti dei punteggi sono medie tra attività e i risultati variano da un’attività all’altra. Il framework modifica l’Harness mantenendo fissi i pesi sottostanti del modello; il confronto con i robot include anche skill preparate separatamente, quindi non isola l’evoluzione dei moduli dalla preparazione delle skill.
Gli autori segnalano che la copertura e la qualità dei risultati della ricerca sul web possono variare e che lo studio si concentra soprattutto sul miglioramento dell’Harness.
Cosa mostrano le prove
- Migliorare su attività diverse
Trinity è un framework di auto-miglioramento ricorsivo per agenti multimodali. Interviene sull’Harness, il software che organizza le azioni e i moduli riutilizzabili di un agente, senza modificare il modello sottostante.
Lo studio chiede come migliorare questo software su attività diverse, dato che creare ambienti di pratica verificabili è costoso e adattare un sistema separato a ogni attività può limitarne il trasferimento.
- Organizzare per capacità condivise
Il framework raggruppa le attività in base alle capacità condivise e costruisce una gerarchia chiamata capability tree. Creator crea mondi di pratica più semplici e verificabili per i requisiti comuni; Explorer perfeziona i moduli riutilizzabili dell’Harness usando il feedback; un router seleziona un Harness compatibile con l’attività.
Valutare le configurazioni risultanti sulle attività originali permette di verificare se la pratica si trasferisce oltre i mondi generati.
- Misurare i miglioramenti ripetuti
Gli autori seguono l’Harness iniziale attraverso quattro cicli di miglioramento. I driver assegnano un punteggio a ogni attività e i ricercatori calcolano la media semplice dei punteggi specifici per attività nelle suddivisioni di addestramento e non viste.
Le medie aumentano da 39.06 a 73.16 punti in 28 test di addestramento e da 37.45 a 63.61 in 18 test non visti. Base Harness non ha moduli appresi né skill; ogni versione evoluta usa skill preparate appositamente per essa.
Il confronto riflette quindi sia l’evoluzione dell’Harness sia le skill usate con le versioni evolute.
- Confrontare la pratica simulata
Per verificare se i mondi di pratica favoriscono il trasferimento, gli autori confrontano due alberi delle capacità dopo un ciclo. Entrambi usano la stessa struttura e vengono valutati con i soli moduli, senza skill; uno apprende dalle attività originali e l’altro da mondi simulati verificati.
La versione simulata ottiene medie più alte in entrambe le suddivisioni, anche se usa più token di addestramento: il confronto quindi non isola il solo programma di pratica.
- Verificare selezione e instradamento
Un confronto sull’aggiunta di moduli verifica se la loro rilevanza per l’attività conta: aggiungere un modulo rilevante a Base Harness produce una media di addestramento più alta rispetto all’aggiunta di un modulo irrilevante.
Il confronto sull’instradamento verifica poi se un agente riesce a selezionare Harness adatti usando informazioni sull’attività ed esperienze verificate. I suoi punteggi medi si avvicinano a quelli di riferimento di un Oracle retrospettivo, che può scegliere il miglior Harness compatibile dopo aver visto ogni istanza e non è disponibile durante l’esecuzione.
- Estendere le prove ai robot
Lo studio valuta anche configurazioni complete di Harness e skill su due attività con robot fisici. La configurazione Base non ha successo in nessun episodio di test per entrambe le attività, mentre la quarta iterazione riesce nel 60% degli episodi di ciascuna.
Poiché ogni Harness usa skill preparate separatamente, questi risultati estendono le prove alle attività fisiche, ma non permettono di attribuire il miglioramento alla sola evoluzione dei moduli.
Dettagli
- Autori del paper originale
- Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen
- Inviato ad arXiv
- Licenza
- CC BY 4.0