I modelli che risolvono meglio non sono sempre i migliori autori di compiti
In parole semplici
Environment Duels è un test in cui nove modelli linguistici sia creano compiti interattivi sia provano a risolvere quelli creati dagli altri. Ogni compito include un indizio scritto dal suo autore.
I ricercatori confrontano quanto spesso i modelli risolvono i compiti senza indizi, quanto sono impegnativi i compiti di ciascun autore e se gli indizi cambiano il successo. I modelli migliori nel risolvere non erano i migliori nel creare compiti.
In un confronto separato sull’addestramento, un modello ha migliorato i risultati in cinque test più nettamente dopo essersi allenato sui compiti di un autore i cui indizi lo avevano aiutato di più. Il risultato riguarda i modelli e gli autori esaminati.
La ricerca
Se i modelli imparano dai compiti creati da altri modelli, il modo in cui quei compiti sono scritti può influenzare ciò che i modelli successivi imparano. L’articolo chiede se i modelli bravi a risolvere compiti sappiano anche creare sfide utili e indicazioni per gli altri.
Environment Duels fa scrivere a nove modelli linguistici compiti interattivi con indizi, li mette alla prova sui compiti degli altri e misura separatamente la capacità di risolvere e quella di creare compiti.
L’articolo chiede se i modelli sappiano creare sfide utili all’apprendimento di altri modelli, oltre a risolvere compiti. Environment Duels mette alla prova entrambi i ruoli: nove modelli scrivono compiti interattivi con indizi e risolvono quelli degli altri. La valutazione misura separatamente la capacità di risolvere e quella di creare.
I migliori risolutori senza indizi non erano i migliori autori. In un confronto separato sull’addestramento, Qwen3.8-27B ha ottenuto miglioramenti maggiori in cinque test usando gli ambienti di un autore per cui, prima dell’addestramento, gli indizi avevano prodotto un aumento di successo maggiore.
Questo risultato sostiene l’aumento di successo dovuto agli indizi come segnale dell’utilità dei dati in quel confronto.
Il confronto sull’addestramento riguarda un solo modello, Qwen3.8-27B, addestrato su ambienti creati da quattro autori e valutato con cinque test.
In questa configurazione, i risultati suggeriscono che l’aumento di successo dovuto agli indizi può segnalare l’utilità dei dati per l’addestramento, ma non dimostrano che il rapporto valga anche per altri modelli o autori.
Analisi
Dettagli
- Autori del paper originale
- Shibo Jin, Zhiqiu Xu, Yiling Zou, Shangyu Gong, Mayur Naik
- Inviato ad arXiv
- Licenza
- CC BY 4.0