Pourquoi le classement par préférences peut progresser alors que la génération s’effondre

Comment l’entraînement par préférences peut-il rendre un modèle meilleur pour classer des réponses alors que le texte qu’il génère se dégrade ?

Les auteurs cherchent quel changement interne pourrait expliquer cette discordance, et pourquoi une mesure de classement pourrait rester stable même lorsque les sorties du modèle deviennent répétitives ou se réduisent à un seul jeton.

ECHO suit un décalage partagé des états cachés finaux pour expliquer comment le classement par préférences peut progresser alors que le texte généré s’effondre.

Les auteurs mesurent un décalage commun, c’est-à-dire un déplacement partagé des états cachés finaux du modèle, puis examinent son effet sur les scores des réponses retenues et rejetées.

Dans quatre exécutions où un effondrement s’était produit, l’ajout du décalage a fait baisser les deux scores bien plus que leur différence, ce qui montre pourquoi une mesure de classement relatif pouvait rester assez stable.

Dans des exécutions de classement jeton par jeton sur des listes de préférences liées à la conduite, 14 des 17 lignées de modèles de base testées ont atteint le critère d’effondrement avec un budget allant jusqu’à six fois le budget de base.

Les tests des composantes et de transfert ont relié le décalage au puits de vocabulaire, ce qui étaye l’explication des auteurs sur la manière dont la génération peut échouer alors que le classement reste bon.

Les résultats proviennent de configurations particulières d’entraînement par préférences et d’évaluations données.

L’intensité des pénalités a été calibrée sur des données de conduite, le résultat obtenu avec un budget multiplié par six ne concerne que la famille OLMo, et les répétitions avec différentes graines aléatoires étaient limitées aux configurations phares.