Cambiar el entrenamiento ayuda a los modelos de imagen a seguir coordenadas

Si un generador de imágenes puede representar información espacial en su codificador de texto, ¿por qué las coordenadas de una instrucción aún pueden fallar al colocar objetos correctamente?

El artículo prueba si cambiar la forma de entrenar el modelo puede ayudarle a usar esas coordenadas sin añadir componentes estructurales.

El método ajusta generadores de imágenes mostrándoles con más frecuencia etapas con niveles altos de ruido para ayudarles a colocar objetos según las coordenadas de las instrucciones.

Los autores prueban el método con instrucciones sintéticas que describen rectángulos de colores, para poder comparar cada imagen generada con una referencia a nivel de píxel. Varían la media de la distribución de niveles de ruido y mantienen fija su desviación estándar.

En la prueba de 256x256, la puntuación de distribución espacial es 25.9 con una distribución centrada y 80.8 con una media de 1.0; la referencia de reconstrucción del VAE es 83.6. La puntuación promedia el solapamiento entre las máscaras de color generadas y las de referencia, entre colores y umbrales de coincidencia cromática.

El resultado respalda la interpretación de que desplazar el entrenamiento hacia niveles más altos de ruido puede ayudar al modelo a seguir coordenadas en esta configuración. Otras pruebas muestran que el mejor desplazamiento varía según la resolución y que también mejora una medida basada en un detector en imágenes seleccionadas de COCO.

Los resultados muestran que cambiar la distribución del ruido durante el entrenamiento puede mejorar las puntuaciones de distribución espacial en estas pruebas, pero no establecen que todas las configuraciones de modelos o imágenes vayan a beneficiarse.

Los cambios más intensos pueden reducir la precisión de las texturas o los colores, y el resultado con imágenes reales usa un detector como aproximación a la precisión de la distribución espacial.