Solo due metodi di addestramento degli agenti superano GRPO in media

Quando molti metodi di addestramento dichiarano di migliorare gli agenti testuali, i vantaggi reggono a un confronto diretto?

Le valutazioni precedenti spesso riutilizzavano punteggi di riferimento raccolti in condizioni diverse e dedicavano meno attenzione alla stabilità dell’addestramento e al costo di calcolo, rendendo difficile confrontare i miglioramenti riportati.

Gli autori confrontano dieci metodi di self-distillation con GRPO in dodici combinazioni, misurando punteggi finali, progressi dell’addestramento e costo di calcolo.

I ricercatori hanno addestrato dieci metodi e GRPO nelle stesse dodici combinazioni di modello e compito, poi hanno confrontato valutazioni finali ripetute. Solo PCSD e AgentOPSD hanno superato la media di GRPO, calcolata assegnando lo stesso peso a tutte le combinazioni.

Il vantaggio di PCSD è stato discontinuo: ha vinto in sei combinazioni, ha perso in cinque e ha pareggiato in una.

Le curve di addestramento e i confronti dei tempi precisano ulteriormente il risultato: i metodi migliori al termine non erano necessariamente i più forti durante tutto l’addestramento, e più tempo non ha portato in modo costante a una media finale più alta.

Il benchmark comprende dieci metodi selezionati, quattro test e tre dimensioni del modello Qwen3.5. I risultati non stabiliscono se gli stessi andamenti si verifichino con altri metodi, in situazioni reali o durante l’uso da parte di utenti.