ES
Por qué a los modelos de difusión les cuesta predecir el ruido con cuellos de botella
The Noise-Transmission Burden of Diffusion Network: Why Image Prediction Can Outperform Noise Prediction · arXiv:2610.34834
En palabras sencillas
Los modelos de difusión aprenden a transformar una imagen ruidosa en una imagen limpia. Algunos predicen el ruido añadido y lo restan de la entrada; si la representación de entrada ha descartado información, quizá no puedan cancelar todo el ruido.
Este artículo desarrolla una teoría sobre el problema y prueba formas de reducirlo. En experimentos con ImageNet y una entrada comprimida, añadir a la salida una copia de la imagen ruidosa elegida cuidadosamente ayudó a los modelos que predicen el ruido a eliminarlo mucho mejor. El resultado aporta evidencia sobre los modelos y las condiciones probados; no garantiza el mismo efecto en todos los modelos de difusión.
La investigación
Cuando una red de difusión comprime su entrada, ¿qué información debe conservar para transformar una imagen ruidosa en una limpia? La respuesta puede depender del objetivo de predicción: para predecir el ruido, la red debe cancelar la corrupción que sigue presente en la entrada, incluso si una representación comprimida ha perdido parte de esa información.
El artículo muestra cómo los cuellos de botella en la entrada dificultan la predicción del ruido y prueba el preacondicionamiento de la salida para reducir el error al eliminarlo.
Los autores preguntan por qué predecir el ruido puede funcionar peor que predecir la imagen limpia cuando una red de difusión de tamaño finito recibe una entrada comprimida. Un predictor de ruido debe cancelar la corrupción de la entrada ruidosa, pero la compresión puede ocultarle parte de esa información.
La teoría predice un mínimo de error debido a la información perdida y muestra cómo el preacondicionamiento de la salida puede reducirlo. En modelos con cuello de botella probados con ImageNet256, el error medido al eliminar ruido alto mediante predicción directa del ruido casi coincidió con el mínimo previsto, mientras que el preacondicionamiento exacto y la predicción de imágenes tuvieron errores mucho menores. Una comparación aparte de generación mostró un orden similar.
La teoría describe niveles de ruido fijos y, para su resultado sobre el ancho, supone que una lectura afín puede recuperar exactamente el fragmento ruidoso.
Los experimentos usan una ejecución de entrenamiento por configuración, y la teoría no muestra cómo afectan los errores de eliminación del ruido a la distribución final de las imágenes generadas.
Qué muestran las pruebas
- La pregunta sobre redes de tamaño finito
El artículo desarrolla una teoría y realiza experimentos con ImageNet para explicar por qué las redes de difusión de tamaño finito pueden rendir de manera diferente cuando deben predecir una imagen limpia o el ruido que se le añadió.
En principio, ambos objetivos de predicción pueden producir la misma estimación óptima de la imagen limpia. Sin embargo, un predictor de ruido debe restar de la entrada ruidosa su estimación del ruido multiplicada por un factor; por eso, la red necesita información que le permita cancelar la corrupción.
- Qué descarta la compresión
La teoría pregunta qué ocurre cuando un cuello de botella en la entrada descarta algunas direcciones de una imagen ruidosa. En un codificador lineal que conserva r de d direcciones, ningún decodificador posterior puede recuperar el ruido gaussiano descartado.
La contribución resultante al error de la imagen limpia aumenta con el nivel de ruido, mientras que el riesgo del predictor óptimo de imágenes con el mismo cuello de botella permanece acotado.
- Un atajo cambia la carga
El preacondicionamiento de la salida añade a la salida de la red una copia de la entrada ruidosa multiplicada por un factor. En la teoría, el preacondicionamiento exacto cancela la contribución del ruido descartado, mientras que la opción de EDM la reduce a medida que aumenta el ruido.
En un modelo JiT-B/16 con cuello de botella en ImageNet256, el error de la imagen limpia con ruido alto y predicción directa del ruido estuvo cerca del mínimo previsto; el preacondicionamiento exacto y la predicción de imágenes tuvieron errores mucho menores.
- Eliminación del ruido y generación
La prueba de generación apunta en la misma dirección. FID-10K compara las estadísticas de las imágenes generadas con las de imágenes de referencia; las puntuaciones más bajas indican mayor similitud. En el modelo probado con cuello de botella, el preacondicionamiento exacto obtuvo 9.15 y la predicción de imágenes, 9.13, frente a 412.11 de la predicción directa del ruido; EDM obtuvo aproximadamente 52.28. Como son mediciones de una sola ejecución, no muestran la variación entre ejecuciones.
- Por qué puede ayudar un mayor ancho
El artículo también estudia el ancho en modelos que reciben la entrada completa. Su teoría supone que la representación oculta puede recuperar el parche ruidoso mediante una lectura afín; entonces, las coordenadas adicionales pueden representar direcciones de la corrección de eliminación del ruido que todavía falta.
En una comparación, los predictores de ruido más anchos de ImageNet256 tuvieron menor error medido; una estimación aproximada también encontró que, con poco ruido, la corrección se distribuía entre más direcciones que con mucho ruido.
Detalles
- Autores del paper original
- Gyeonghun Kang, Pengxi Liu, Bingshuo Qian, Xiang Cheng
- Enviado a arXiv
- Licencia
- CC BY 4.0