La distillation on-policy n’a pas d’avantage systématique aux tests clés

Quand un modèle étudiant apprend à partir de ses propres réponses générées, cette source explique-t-elle à elle seule les affirmations selon lesquelles il oublierait moins ou généraliserait mieux ?

Les comparaisons précédentes modifiaient aussi d’autres aspects de l’entraînement ; elles ne permettaient donc pas de savoir si la différence venait des exemples, de l’objectif d’apprentissage ou de la méthode d’optimisation.

L’étude fait varier la source des exemples d’entraînement, le sens de KL et le taux d’apprentissage pour déterminer quels choix influent sur les résultats de l’étudiant en distillation.

Les chercheurs ont comparé des exemples d’entraînement générés par l’enseignant à ceux générés par l’étudiant à partir de points de contrôle appariés, tout en faisant varier la méthode de comparaison des prédictions du mot suivant et le taux d’apprentissage.

Après 150 étapes d’entraînement, ils ont mesuré la précision sur la tâche, la variation moyenne des scores à sept autres tests et la part des paramètres ayant varié de moins de 10^-6.

Sur trois tâches de raisonnement et avec trois graines aléatoires, les exemples générés par l’étudiant n’ont apporté aucun avantage systématique pour ces mesures. Le sens de la divergence KL était plus clairement associé à la précision sur la tâche, tandis que le taux d’apprentissage était davantage lié à l’oubli et à la parcimonie des mises à jour.

Ces résultats suggèrent que la source des exemples, à elle seule, n’expliquait pas les bénéfices avancés dans ce cadre.

Les résultats portent sur des modèles étudiants comptant au maximum 1,5 milliard de paramètres, des raisonnements courts et un modèle enseignant fixe.

Les entraînements on-policy utilisaient aussi un réglage différent pour économiser la mémoire ; les implémentations ne correspondaient donc pas en tous points.