Por qué mejora la clasificación por preferencias mientras colapsa la generación de texto

¿Cómo puede el entrenamiento con preferencias hacer que un modelo clasifique mejor las respuestas mientras el texto que genera se deteriora?

Los autores preguntan qué cambio interno podría explicar esa discrepancia y por qué una medida de clasificación podría seguir pareciendo saludable aunque la salida del modelo se vuelva repetitiva o se reduzca a un solo token.

ECHO rastrea un cambio compartido en los estados ocultos finales para explicar cómo la clasificación por preferencias puede mejorar mientras el texto generado colapsa.

Los autores miden un desplazamiento de modo común, un cambio compartido en los estados ocultos finales del modelo, y examinan cómo modifica las puntuaciones de las respuestas elegidas y rechazadas.

En cuatro ejecuciones con colapso, sumar el desplazamiento redujo ambas puntuaciones mucho más de lo que alteró su diferencia, lo que muestra por qué una medida de clasificación relativa podía mantenerse relativamente saludable.

En las ejecuciones de clasificación por token con listas de preferencias sobre conducción, 14 de los 17 linajes de modelos base evaluados cumplieron el criterio de colapso antes de alcanzar el presupuesto base multiplicado por seis.

Las pruebas por componentes y de trasplante vincularon el desplazamiento con el pozo de vocabulario, lo que respalda la explicación de los autores sobre cómo puede fallar la generación mientras la clasificación se mantiene sólida.

Los resultados proceden de ejecuciones y evaluaciones concretas de entrenamiento con preferencias.

Las intensidades de las penalizaciones se calibraron con datos de conducción, el resultado con un presupuesto seis veces mayor abarca solo la familia OLMo y las repeticiones con distintas semillas se limitaron a las configuraciones principales.