Un test révisé réduit l'écart de calcul pour les modèles de diffusion
En termes simples
Les modèles de langage à diffusion masquée prédisent le texte en remplissant des mots cachés, tandis que les modèles autorégressifs écrivent de gauche à droite. Une estimation antérieure indiquait que les modèles de diffusion nécessitaient environ 16 fois plus de calcul d'entraînement pour atteindre la même performance de validation, mais elle utilisait une méthode de score et une conception d'architecture différentes de la pratique actuelle.
Cette étude compare des familles de modèles sur plusieurs budgets d'entraînement, en utilisant une règle de score fondée sur l'ordre habituel du modèle pour révéler les mots. Scorer les mêmes modèles de diffusion de cette façon donne un écart de calcul plus petit que l'ancienne règle de score.
Les architectures par blocs et les conceptions encodeur–décodeur réduisent encore davantage l'écart ajusté dans le cadre testé.
La recherche
Une estimation largement citée indique que les modèles de langage à diffusion masquée nécessitent environ 16 fois le calcul d'entraînement des modèles autorégressifs pour atteindre la même performance de validation.
Cet écart tient-il encore lorsque les modèles de diffusion sont scorés selon la vraisemblance de leur ordre habituel de révélation des tokens et utilisent des architectures par blocs ?
Les auteurs comparent le passage à l'échelle du calcul entre modèles de langage en utilisant un score de vraisemblance mis à jour et des architectures par blocs, afin de mesurer dans quelle mesure l'écart antérieur évolue.
Les auteurs comparent la diffusion masquée aux modèles de langage autorégressifs à l'aide d'une analyse de lois d'échelle à calcul égal révisée. Pour la diffusion, DUEL mesure la log-vraisemblance négative exacte sous l'ordre habituel de révélation des tokens selon la confiance maximale du modèle.
Les auteurs ajustent les performances sur plusieurs budgets d'entraînement et comparent le calcul nécessaire à chaque famille pour atteindre la même perte.
Avec les mêmes points de contrôle de diffusion pleine séquence, le multiple de calcul ajusté à 10^20 FLOPs passe de 17,8 avec la borne inférieure sur l'évidence à 12,8 avec DUEL.
La diffusion par blocs encodeur–décodeur le réduit davantage, atteignant 3,0 à la taille de bloc 4 dans la comparaison ajustée. Une vérification à budget plus élevé pour les tailles de bloc 16 et 32 donne des écarts proches des prédictions ajustées.
La comparaison porte sur les modèles, les données, la recette d'entraînement, la règle de score et la plage de calcul ajustée testés ici.
L'étude a utilisé une seule graine aléatoire et une seule configuration de taux d'apprentissage et de taille de lot, et DUEL a été évalué uniquement avec la règle de révélation des tokens selon la confiance maximale (top-1).
Analyse
Détails
- Auteurs de l’article original
- Guanghan Wang, Bing He, Zhan Shi, Benoit Dumoulin, Hanqing Lu
- Soumis à arXiv
- Licence
- CC BY 4.0