FR
L’échantillonnage aux sommets aide à mélanger de nombreux domaines de données pour les modèles de langue
LinMix: Data Mixing as Linear Domain Attribution · arXiv:2610.37390
En termes simples
Les modèles de langue apprennent à partir de textes venant de différents domaines, c’est-à-dire de sujets ou de secteurs variés. LinMix entraîne de petits modèles proxy sur des mélanges de domaines choisis avec soin. La méthode estime quels domaines contribuent à une mesure donnée, puis utilise ces estimations pour choisir le mélange d’entraînement d’un modèle plus grand.
Dans les tests avec 288 domaines, sa façon de choisir les mélanges proxy a permis à une estimation linéaire simple d’égaler la meilleure autre méthode, plus flexible. Avec 24 domaines, les deux façons de choisir les mélanges ont permis de bien ajuster les estimations.
La recherche
Quand les données d’entraînement sont divisées en centaines de domaines, comment un nombre limité de petits modèles proxy peut-il indiquer lesquels contribuent à une mesure visée ?
Si leurs mélanges d’entraînement varient trop peu, les estimations utilisées pour choisir les données d’un modèle plus grand risquent d’être peu fiables.
LinMix fait varier les mélanges de données plafonnés des modèles proxy pour estimer la contribution des domaines avec un modèle linéaire et choisir un mélange de préentraînement cible.
LinMix teste si la variation des mélanges proxy peut faciliter l’estimation des effets des domaines à mesure que le corpus est divisé en un plus grand nombre de domaines.
Les chercheurs ont comparé les scores prédits et observés des modèles proxy : avec 288 domaines, l’échantillonnage aux sommets a permis à un ajustement linéaire d’égaler la meilleure autre méthode, plus flexible, tandis que l’échantillonnage de Dirichlet réglé avec soin est resté peu performant.
Ils ont ensuite utilisé les mélanges choisis pour entraîner des modèles Qwen3.5 de 4B sur 40 domaines.
LinMix a obtenu des scores plus élevés que RegMix et Olmix aux tests de programmation et de mathématiques rapportés, ce qui relie le résultat sur l’ajustement proxy aux performances des modèles cibles dans cette configuration.
Les résultats des modèles cibles proviennent d’un seul entraînement aléatoire par méthode, et l’entraînement des nombreux modèles proxy coûte cher.
La preuve d’optimalité en moyenne vaut lorsque les plafonds par domaine sont égaux et que la distribution de départ est uniforme ; le cas de plafonds inégaux reste à résoudre.
Ce que montrent les preuves
- Estimer la contribution des domaines
LinMix est une méthode de mélange de données pour le préentraînement des modèles de langue. Elle répond à une question pratique : quand le corpus d’entraînement est divisé en de nombreux domaines, un nombre limité de petits modèles proxy peut-il révéler lesquels contribuent à une mesure visée ?
La méthode estime la contribution de chaque domaine à partir des essais proxy, puis utilise ces estimations pour choisir un mélange plafonné destiné au modèle plus grand.
- Faire varier les mélanges proxy
Le choix central consiste à déterminer comment former les mélanges proxy. L’échantillonnage courant selon une loi de Dirichlet tire des mélanges autour d’une distribution de départ et doit être réglé en fonction de la configuration.
LinMix remplit plutôt les domaines jusqu’à leur plafond dans un ordre aléatoire, jusqu’à épuiser le budget de jetons, puis associe les essais selon l’ordre inverse. Les mélanges ainsi obtenus couvrent davantage de configurations et donnent à la régression des comparaisons plus utiles pour estimer les effets des domaines.
- L’avantage apparaît à grande échelle
Les chercheurs ont comparé les scores prédits et observés des modèles proxy sur les données d’entraînement des benchmarks. Avec 288 domaines, même les mélanges de Dirichlet réglés avec soin n’ont produit qu’un faible accord entre les classements, tandis que l’ajustement linéaire fondé sur l’échantillonnage aux sommets de LinMix a égalé la meilleure autre méthode, plus flexible.
Avec 24 domaines, tous les ajustements testés ont bien fonctionné avec les deux méthodes d’échantillonnage. L’avantage de l’échantillonnage apparaît donc dans la configuration comportant davantage de domaines.
- Les scores des modèles cibles favorisent aussi LinMix
Les chercheurs ont aussi entraîné des modèles Qwen3.5 cibles de 4B sur des mélanges de 40 domaines choisis par LinMix, RegMix ou Olmix. Sur MBPP, un test de programmation, pass@1 mesure la part des problèmes résolus par une seule solution produite par décodage glouton, où le modèle choisit à chaque étape le jeton qu’il juge le plus probable ; LinMix a obtenu 0,444, contre 0,304 pour RegMix et 0,302 pour Olmix.
Sur les problèmes de mathématiques de GSM8K, l’exactitude mesure la part des réponses identiques à la référence ; LinMix a obtenu 0,337, contre 0,135 et 0,294. Dans cette configuration, ces résultats relient la comparaison des modèles proxy à des scores plus élevés pour les modèles cibles.
- La théorie et les résultats ont leurs limites
Un résultat théorique appuie la conception des mélanges : l’échantillonnage aux sommets est optimal en moyenne lorsque tous les domaines ont le même plafond et que la distribution de départ est uniforme. La démonstration montre aussi que les plafonds obligent chaque essai à inclure plusieurs domaines, ce qui limite la quantité d’information qu’il peut isoler sur chacun.
Les résultats étayent LinMix dans les configurations testées, mais les modèles cibles n’ont été entraînés qu’une fois au hasard par méthode, et le théorème reste limité aux conditions de plafonds égaux et de distribution uniforme.
Détails
- Auteurs de l’article original
- Hubert Baniecki, Przemyslaw Biecek, Martin Pawelczyk
- Soumis à arXiv
- Licence
- CC BY 4.0