Une méthode accélère et stabilise l’entraînement des générateurs visuels
En termes simples
Cet article présente DiffusionART, une méthode d’entraînement des générateurs d’images et de vidéos qui reçoivent une récompense seulement une fois le résultat complet produit. Pour chaque consigne, la méthode rassemble plusieurs résultats, repère la direction commune entre les récompenses élevées et les extrémités générées, puis transmet cette direction aux états de débruitage parcourus.
Une deuxième mise à jour ramène les états qui se sont trop éloignés vers leur prédiction de départ. Dans l’expérience vidéo rapportée, DiffusionART a atteint un score de qualité visuelle de 5.5 bien plus tôt que DiffusionNFT avec une moyenne mobile exponentielle (EMA).
La recherche
L’entraînement guidé par des récompenses peut-il améliorer les qualités visuelles qui comptent pour les utilisateurs sans imposer à chaque nouveau modèle ou tâche un calendrier de stabilisation fragile ?
L’article examine si l’instabilité vient de la façon dont l’information de récompense est répartie entre les états de débruitage, et si une méthode peut préserver un guidage utile tout en restaurant les mises à jour trop importantes.
DiffusionART transforme les résultats récompensés de chaque consigne en une mise à jour commune, puis restaure les états qui dérivent afin d’entraîner efficacement les générateurs visuels sans réglage de l’EMA.
Les auteurs montrent que les deux branches de récompense de NFT partagent un guidage utile, mais conservent une force de cohérence qui dépend de l’état.
Dans les essais de contrôle, supprimer l’ancrage à l’ancienne politique entraîne encore un effondrement ; sans EMA, deux mises à jour évitent l’effondrement pendant la période observée, mais prennent 15.2 fois plus de temps, ce qui désigne la restauration comme mécanisme de stabilisation.
DiffusionART applique aux états visités une direction commune dérivée des récompenses et des extrémités, puis restaure ceux qui dérivent. Avec HunyuanVideo-13B, la méthode atteint le score de qualité visuelle VideoReward de 5.5 en 24 étapes, contre 273 pour DiffusionNFT avec EMA, puis obtient des scores supérieurs de qualité visuelle et de qualité du mouvement dans la configuration rapportée.
Les accélérations et les scores d’évaluation correspondent aux modèles, modalités, réglages de récompense, procédures d’échantillonnage et périodes d’entraînement ou d’évaluation rapportés. Ils ne démontrent pas que les mêmes résultats seraient obtenus avec d’autres configurations.
Analyse
Détails
- Licence
- arXiv non-exclusive