Suprimir la retroalimentación de imagen a texto mejora la generación
En palabras sencillas
Este artículo estudia un ciclo de algunos generadores de imágenes: la imagen sin terminar puede enviar información de vuelta a las instrucciones de texto que se usan en la siguiente actualización. Presenta Semantic Feedback Guidance, un método que no requiere entrenamiento y que debilita esa retroalimentación de imagen a texto mientras refuerza el condicionamiento del texto durante la generación. En pruebas emparejadas, tomar prestada la retroalimentación de una ejecución exitosa rescató el 67.5% de las ejecuciones fallidas, frente al 1.3% con un mensaje aleatorio del mismo tamaño. Una versión directa aplicó el cambio sin evaluaciones adicionales del modelo.
La investigación
Cuando un generador de imágenes empieza a omitir un objeto, ¿su retroalimentación interna ayuda a recuperar la instrucción o refuerza la imagen incompleta?
La respuesta importa porque el mismo ciclo que permite interactuar a las secuencias de imagen y texto también puede transmitir contenido que contradice la instrucción. Este artículo pregunta si modificar ese ciclo durante el muestreo puede mejorar los resultados sin volver a entrenar el modelo.
Los autores vinculan los fallos con la retroalimentación de imagen a texto y presentan SFG e iSFG para suprimirla al comienzo del muestreo; iSFG no requiere evaluaciones adicionales del modelo.
Primero, los investigadores trasplantaron el mensaje de imagen a texto entre pares exitosos y fallidos con la misma instrucción, manteniendo fijos la instrucción del destinatario, la semilla, el muestreador, las demás activaciones y la configuración de 1024x1024.
Un caso exitoso rescató a 270 de 400 destinatarios fallidos, frente a 5 de 400 con un mensaje aleatorio de norma equivalente; un caso fallido también alteró 242 de 400 resultados exitosos. Ese contraste indica que el contenido del mensaje, y no solo su tamaño, influye en la trayectoria.
El método SFG resultante guía el proceso para alejarse de una rama con una retroalimentación de imagen a texto más fuerte; iSFG aplica la supresión directamente. En FLUX, SFG elevó GenEval —una prueba de si las imágenes contienen los objetos y las relaciones solicitados— de 0.6661 a 0.7479, mientras que iSFG elevó la puntuación de preferencias HPSv2.1 de SD3.5M de 31.65 a 32.98 sin evaluaciones adicionales.
La evidencia se limita a las trayectorias emparejadas y los conjuntos de evaluación probados, así que las mejoras agregadas no garantizan resultados para cada instrucción o salida.
La ventana de guía más eficaz también depende de la tarea: en la generación de video a partir de texto con HunyuanVideo, siete de 25 pasos obtuvieron 84.25, frente a 83.09 con los 25 pasos, y requirieron 32 evaluaciones del modelo en lugar de 50.
Análisis
Detalles
- Licencia
- arXiv non-exclusive