Collection de recherches
#kl-divergence
Recherche avec le tag kl-divergence: explications, preuves, limites et liens entre articles.
1 résultats
La distillation on-policy n’a pas d’avantage systématique aux tests clés
Une étude contrôlée de distillation ne trouve pas d’avantage on-policy systématique ; les gains en arithmétique difficile ne persistent pas toujours après un entraînement supplémentaire.