Un entraînement décalé aide les modèles d’image à suivre les coordonnées

Si un générateur d’images peut représenter des informations spatiales dans son système de traitement du texte, pourquoi les coordonnées d’une consigne ne suffisent-elles pas toujours à placer correctement les objets ?

L’article examine si une modification de l’entraînement peut l’aider à utiliser ces coordonnées sans ajouter de composants à la structure du modèle.

La méthode règle finement les générateurs d’images en leur présentant plus souvent des étapes à fort niveau de bruit, ce qui peut les aider à placer les objets selon les coordonnées d’une consigne.

Les auteurs testent cette méthode avec des consignes synthétiques décrivant des rectangles colorés, dont chaque image générée peut être comparée à une référence au niveau des pixels. Ils font varier la moyenne de la distribution des niveaux de bruit tout en maintenant son écart type à une valeur fixe.

Dans le test en 256x256, le score de disposition est de 25,9 avec une distribution centrée et de 80,8 avec une moyenne de 1,0 ; la référence de reconstruction VAE est de 83,6. Le score calcule le chevauchement moyen des masques de couleur générés et de référence selon les couleurs et les seuils de correspondance.

Ce résultat étaye l’idée qu’orienter l’entraînement vers des niveaux de bruit plus élevés peut aider le modèle à suivre les coordonnées dans ce cadre. D’autres tests montrent que le meilleur déplacement varie selon la résolution, et une mesure fondée sur un détecteur s’améliore aussi sur une sélection d’images COCO.

Les résultats montrent que modifier la distribution du bruit pendant l’entraînement peut améliorer les scores de disposition dans ces tests, mais ils n’établissent pas que tous les modèles ou tous les réglages d’image en bénéficieront.

Des changements plus marqués peuvent réduire la précision des textures ou des couleurs, et le résultat sur des images réelles repose sur un détecteur utilisé comme indicateur indirect de la précision de la disposition.