FR
Pourquoi les goulots compliquent la prédiction du bruit dans les modèles de diffusion
The Noise-Transmission Burden of Diffusion Network: Why Image Prediction Can Outperform Noise Prediction · arXiv:2610.34834
En termes simples
Les modèles de diffusion apprennent à transformer une image bruitée en image propre. Certains prédisent le bruit ajouté, puis le soustraient de l’entrée. Si la représentation de l’entrée a perdu des informations, le modèle risque de ne pas pouvoir annuler tout le bruit.
Cet article élabore une théorie de ce problème et teste des moyens de le réduire. Dans les expériences sur ImageNet avec une entrée comprimée, ajouter à la sortie une copie de l’image bruitée, avec un coefficient soigneusement choisi, a aidé les modèles qui prédisent le bruit à mieux débruiter.
Ce résultat concerne les modèles et les conditions testés ; il ne garantit pas le même effet pour tous les modèles de diffusion.
La recherche
Quand un réseau de diffusion comprime son entrée, quelles informations doit-il conserver pour transformer une image bruitée en image propre ?
La réponse peut dépendre de la cible de prédiction : prédire le bruit oblige le réseau à annuler une dégradation encore présente dans l’entrée, alors même qu’une représentation comprimée peut en avoir perdu une partie.
L’article montre comment les goulots à l’entrée compliquent la prédiction du bruit et teste le préconditionnement de la sortie pour réduire l’erreur de débruitage qui en résulte.
Les auteurs cherchent à comprendre pourquoi un réseau de diffusion de capacité limitée peut moins bien fonctionner quand il prédit le bruit plutôt que l’image propre, si son entrée est comprimée. Le prédicteur de bruit doit annuler la dégradation présente dans l’entrée bruitée, mais la compression peut masquer au réseau une partie de ce bruit.
Leur théorie prévoit un plancher d’erreur dû à cette information perdue et montre comment le préconditionnement de la sortie peut le réduire. Dans des modèles ImageNet256 avec goulot, l’erreur de débruitage mesurée à niveau de bruit élevé pour la prédiction directe du bruit était presque égale au plancher prédit, tandis que le préconditionnement exact et la prédiction de l’image produisaient des erreurs bien plus faibles. Une comparaison distincte de génération a montré un ordre similaire.
La théorie considère des niveaux de bruit fixes et, pour son résultat sur la largeur, suppose que la représentation cachée permet de retrouver exactement le patch bruité au moyen d’une lecture affine. Les expériences ne comportent qu’un seul entraînement par configuration.
La théorie ne montre pas comment les erreurs de débruitage influent sur la distribution finale des images générées.
Ce que montrent les preuves
- La question des réseaux de capacité limitée
Cet article élabore une théorie et mène des expériences sur ImageNet pour expliquer pourquoi des réseaux de diffusion de capacité limitée peuvent obtenir des résultats différents selon qu’on leur demande de prédire l’image propre ou le bruit ajouté.
En principe, ces deux cibles de prédiction peuvent mener à la même estimation optimale de l’image propre. Mais un prédicteur de bruit doit soustraire de l’entrée bruitée son estimation du bruit, multipliée par un coefficient : le réseau a donc besoin d’informations pour annuler la dégradation.
- Ce que la compression écarte
La théorie étudie ce qui se passe quand un goulot d’étranglement à l’entrée écarte certaines directions de l’image bruitée. Pour un encodeur linéaire qui conserve r directions sur d, aucun décodeur en aval ne peut retrouver le bruit gaussien écarté.
La contribution qui en résulte à l’erreur sur l’image propre augmente avec le niveau de bruit, tandis que le risque du prédicteur d’image optimal reste borné avec le même goulot.
- Un raccourci allège la tâche
Le préconditionnement de la sortie ajoute à la sortie du réseau une copie de l’entrée bruitée, multipliée par un coefficient. Dans la théorie, le préconditionnement exact annule la contribution du bruit écarté, tandis que le choix EDM la réduit à mesure que le bruit augmente.
Dans un modèle JiT-B/16 avec goulot, testé sur ImageNet256, l’erreur sur l’image propre à niveau de bruit élevé pour la prédiction directe du bruit était proche du plancher prédit ; le préconditionnement exact et la prédiction de l’image produisaient des erreurs bien plus faibles.
- Débruitage et génération
Le test de génération va dans le même sens. FID-10K compare les statistiques des images générées à celles des images de référence ; un score plus bas indique une meilleure correspondance.
Pour le modèle testé avec goulot, le préconditionnement exact obtenait 9.15 et la prédiction de l’image 9.13, contre 412.11 pour la prédiction directe du bruit ; EDM obtenait environ 52.28. Ces mesures proviennent chacune d’un seul entraînement et ne donnent donc pas l’incertitude entre entraînements.
- Pourquoi la largeur peut aider
Pour les modèles qui reçoivent toute l’entrée, l’article étudie aussi la largeur. Sa théorie suppose que la représentation cachée peut retrouver le patch bruité au moyen d’une lecture affine ; des coordonnées supplémentaires peuvent alors représenter les directions de la correction de débruitage restante.
Dans une comparaison, les prédicteurs de bruit plus larges testés sur ImageNet256 avaient une erreur mesurée plus faible. Une estimation indirecte a aussi trouvé que la correction à faible niveau de bruit se répartissait sur davantage de directions que celle à niveau de bruit élevé.
Détails
- Auteurs de l’article original
- Gyeonghun Kang, Pengxi Liu, Bingshuo Qian, Xiang Cheng
- Soumis à arXiv
- Licence
- CC BY 4.0