Perché il ranking delle preferenze può migliorare mentre la generazione collassa

Come può l’addestramento sulle preferenze rendere un modello più bravo a classificare le risposte mentre il testo generato si deteriora?

Gli autori cercano il cambiamento interno che potrebbe spiegare questa discrepanza e il motivo per cui una misura del ranking potrebbe restare sana anche quando l’uscita del modello diventa ripetitiva o si concentra su un solo token.

ECHO riconduce a uno spostamento condiviso negli stati nascosti finali il collasso del testo generato nonostante il miglioramento del ranking delle preferenze.

Gli autori misurano il common-mode offset, uno spostamento condiviso negli stati nascosti finali del modello, e ne esaminano l’effetto sui punteggi delle risposte preferite e rifiutate.

In quattro esecuzioni con collasso, aggiungere l’offset ha abbassato entrambi i punteggi molto più di quanto abbia modificato la loro differenza: questo mostra perché una misura di ranking relativo possa restare relativamente sana.

Nelle esecuzioni con ranking per token su elenchi di preferenze relative alla guida, 14 delle 17 linee di modelli di base testate hanno soddisfatto il criterio di collasso entro un budget pari a sei volte quello di base.

I test sulle componenti e quelli di trasferimento hanno collegato l’offset alla vocabulary well, sostenendo la spiegazione degli autori di come la generazione possa fallire mentre il ranking resta forte.

I risultati riguardano specifiche esecuzioni di addestramento sulle preferenze e specifiche valutazioni.

L’intensità delle penalità è stata calibrata su dati di guida, il risultato ottenuto con un budget pari a sei volte quello di base riguarda solo la famiglia OLMo e le ripetizioni con semi diversi sono state limitate alle configurazioni principali.