Un teacher con punteggi corretti aiuta gli agenti a completare più compiti

Quando uno studente passa turni a cercare o controllare, i consigli token per token di un teacher possono indicargli quali mosse lo aiuteranno davvero a finire?

Nella normale distillazione per agenti, il teacher assegna punteggi alle parole dello studente senza vedere come termina l’episodio; perciò, un ritardo che sembra sensato localmente può essere accettato senza una penalità legata all’esito.

Rollout-to-Scorer Distillation usa interventi selezionati del teacher per correggerne i punteggi, poi congela il valutatore corretto per il normale addestramento dello studente.

Per verificare la discrepanza, gli autori hanno confrontato gli interventi del teacher con gli esiti dello studente a partire dagli stessi stati di forte disaccordo, in tre attività testuali: attività domestiche, acquisti ed esperimenti scientifici.

Il teacher ha completato i compiti più spesso, suggerendo che quegli stati rientrassero ancora nelle sue capacità.

I valutatori hanno calcolato la media del successo nei compiti su tre decodifiche campionate da ciascun checkpoint finale.

R2S ha ottenuto risultati superiori alla distillazione normale e a tre metodi recenti in tutte le dodici combinazioni teacher–studente–ambiente, sostenendo la correzione entro le combinazioni esaminate.

Il confronto principale ha usato una sola sessione di addestramento di 150 passi per ogni combinazione di modello e ambiente; i metodi di confronto hanno mantenuto le proprie impostazioni.

Le prove riguardano i modelli Qwen e gli ambienti testuali riproducibili esaminati, e non stabiliscono risultati al di fuori di questi casi.