FR
Une méthode en deux étapes sépare apprentissage visuel et rendu
Know, then Draw: A New Learning Paradigm for Visual Generation · arXiv:2610.37626
En termes simples
Créer une image à partir d’une phrase demande de comprendre ce qu’elle décrit et d’en dessiner les détails. Cet article propose de confier ces tâches à deux étapes d’entraînement : d’abord, un modèle apprend des codes visuels à partir de textes et d’images ; ensuite, un générateur d’images se sert de ces codes pour produire les pixels.
Dans les conditions testées, ce parcours a obtenu de meilleurs scores aux tests de génération d’images que le parcours évalué qui commençait par un entraînement par diffusion latente. Ce résultat concerne ces comparaisons, pas toutes les façons d’entraîner un modèle d’image.
La recherche
La génération d’images à partir de texte demande à un modèle de comprendre ce que décrit une consigne et de transformer cette connaissance en pixels détaillés. L’article cherche à savoir si une seule méthode d’entraînement doit accomplir les deux tâches, ou si l’apprentissage des connaissances visuelles et le dessin des images peuvent être confiés à des étapes distinctes.
La méthode utilise le préentraînement autorégressif pour apprendre des codes visuels, puis le post-entraînement par diffusion pour en faire des images détaillées.
Les chercheurs ont comparé le préentraînement autorégressif suivi d’une diffusion sur les pixels au préentraînement par diffusion latente suivi de la même diffusion sur les pixels.
Sur GenEval, qui mesure le respect des détails des consignes dans six catégories, et DPG-Bench, qui mesure la concordance entre texte et image, le parcours autorégressif a obtenu de meilleurs scores, avec une exposition équivalente aux images et environ 400 millions de paramètres dans le générateur final.
Cette comparaison étaye ce parcours dans les conditions testées. Elle ne permet pas d’attribuer l’écart au seul objectif de préentraînement, car les représentations et certains détails d’architecture diffèrent aussi.
La comparaison étaye les parcours d’entraînement testés, à la taille de modèle et avec l’exposition aux images indiquées. Ces parcours diffèrent aussi par leurs représentations et certains détails d’architecture : elle ne permet donc pas d’attribuer l’écart au seul objectif de préentraînement.
Ce que montrent les preuves
- Distinguer apprentissage et dessin
L’article propose une méthode en deux étapes pour générer des images à partir de texte : un modèle autorégressif apprend des connaissances visuelles en prédisant des codes à partir de textes et d’images, puis un générateur par diffusion utilise les représentations apprises pour produire les pixels.
Cette séparation répond à la question de savoir si l’objectif le mieux adapté à l’apprentissage des informations visuelles convient aussi au rendu d’images détaillées.
- Comparer la qualité des images
Pour tester les parcours d’entraînement, les chercheurs ont comparé le préentraînement autorégressif suivi d’une diffusion sur les pixels au préentraînement par diffusion latente, suivi de la même architecture de rendu et du même protocole de post-entraînement.
Les parcours comptaient environ 400 millions de paramètres dans le générateur final et avaient été exposés au même volume cumulé d’images, même si leurs représentations et certains détails d’architecture différaient. GenEval vérifie si les images respectent les détails des consignes, tandis que DPG-Bench mesure la concordance entre texte et image ; dans cette comparaison, le parcours autorégressif a obtenu de meilleurs scores aux deux tests.
- Examiner l’information conservée par les codes
Les auteurs ont ensuite cherché à savoir quels codes visuels l’étape d’apprentissage devrait prédire. En gardant fixes l’entraînement du générateur et l’évaluation pour trois types de tokenizers, ils ont constaté que de bons scores de reconstruction ou de génération d’images autonome n’indiquaient pas de manière fiable la qualité du rendu final.
Un tokenizer sémantique entraîné par modélisation du langage permettait lui aussi un rendu efficace, bien qu’il n’ait ni décodeur d’image ni supervision par reconstruction. Cela suggère que les codes peuvent privilégier l’information sémantique lorsqu’une étape distincte se charge du dessin.
- Changer d’échelle et tester la recette
Les ajustements d’échelle des deux étapes suggèrent différentes façons d’équilibrer la taille du modèle et les données d’entraînement. La comparaison des pertes de rendu minimales ajustées favorise aussi le pipeline post-entraîné par rapport à une référence de diffusion sur les pixels, réglée indépendamment et entraînée depuis zéro.
Mais ces valeurs sont extrapolées pour des pipelines entiers : elles ne testent pas séparément l’effet des poids préentraînés. L’analyse a guidé l’entraînement d’un modèle d’environ 3 milliards de paramètres, qui a obtenu des scores compétitifs aux tests de génération d’images avec le budget de calcul indiqué et un protocole qui reformulait les consignes et sélectionnait des variantes.
Détails
- Auteurs de l’article original
- Yucheng Mao, Chongjian Ge, Zhuowen Tu, Hao Tan, Hanwen Jiang
- Soumis à arXiv
- Licence
- CC BY 4.0