La distillazione on-policy non offre un vantaggio costante nei test chiave

Quando un modello studente impara dalle risposte che genera da sé, è questa fonte a spiegare le affermazioni secondo cui dimenticherebbe meno o generalizzerebbe meglio?

I confronti precedenti cambiavano anche altri aspetti dell’addestramento, quindi non potevano stabilire se la differenza dipendesse dagli esempi, dall’obiettivo di apprendimento o dal processo di ottimizzazione.

Lo studio varia la fonte degli esempi di addestramento, la direzione KL e il tasso di apprendimento per verificare quali scelte influenzano i risultati degli studenti durante la distillazione.

I ricercatori hanno confrontato esempi di addestramento generati dall’insegnante e dallo studente, partendo da checkpoint dello studente abbinati e variando il metodo di confronto delle previsioni della parola successiva e il tasso di apprendimento.

Dopo 150 passi di addestramento, hanno misurato l’accuratezza sul compito, la variazione media dei punteggi in sette altri test e la frazione di parametri cambiati meno di 10^-6.

Su tre compiti di ragionamento e con tre semi casuali, gli esempi generati dallo studente non hanno prodotto un vantaggio costante su queste misure. La direzione KL era associata più chiaramente all’accuratezza sul compito, mentre il tasso di apprendimento mostrava una relazione più forte con l’oblio e la sparsità degli aggiornamenti.

Questo suggerisce che, in questa configurazione, la sola fonte degli esempi non spiegava i vantaggi dichiarati.

I risultati riguardano modelli studenti con al massimo 1,5 miliardi di parametri, brevi tracce di ragionamento e un modello insegnante fisso. Gli esperimenti on-policy hanno inoltre usato un’impostazione diversa per risparmiare memoria, quindi le implementazioni non coincidevano in ogni dettaglio.