IT
Perché i modelli di diffusione faticano a predire il rumore con input compressi
The Noise-Transmission Burden of Diffusion Network: Why Image Prediction Can Outperform Noise Prediction · arXiv:2610.34834
In parole semplici
I modelli di diffusione imparano a trasformare un’immagine rumorosa in una pulita. Alcuni predicono il rumore aggiunto e lo sottraggono all’input; se la rappresentazione dell’input ha perso informazioni, potrebbero non riuscire a cancellare tutto il rumore.
Questo paper sviluppa una teoria del problema e verifica alcuni modi per ridurlo. Negli esperimenti su ImageNet con un input compresso, aggiungere una copia dell’immagine rumorosa scelta con cura ha aiutato i modelli che predicono il rumore a ripulire meglio le immagini.
Il risultato è un’evidenza relativa ai modelli e alle condizioni esaminati, non una garanzia valida per ogni modello di diffusione.
La ricerca
Quando una rete di diffusione comprime il proprio input, quali informazioni deve conservare per trasformare un’immagine rumorosa in una pulita?
La risposta può dipendere dall’obiettivo di predizione: per predire il rumore, la rete deve cancellare una corruzione ancora presente nell’input, anche se la rappresentazione compressa ha perso parte delle informazioni necessarie.
Il paper mostra come i colli di bottiglia nell’input complichino la predizione del rumore e verifica se l’output preconditioning può ridurre l’errore di denoising che ne deriva.
Gli autori chiedono perché predire il rumore possa funzionare peggio che predire l’immagine pulita quando un modello di diffusione con capacità limitata riceve un input compresso.
Un predittore del rumore deve cancellare la corruzione presente nell’input rumoroso, ma la compressione può nascondere alla rete una parte di quelle informazioni.
La teoria prevede un limite minimo all’errore dovuto alle informazioni perse e mostra come l’output preconditioning possa ridurlo. Nei modelli con collo di bottiglia su ImageNet256, l’errore di denoising misurato con rumore elevato per la predizione diretta del rumore era quasi pari al limite previsto; il precondizionamento esatto e la predizione dell’immagine avevano errori molto più bassi. Un confronto separato sulla generazione ha mostrato un ordinamento simile.
La teoria descrive livelli di rumore fissi e, per il risultato sulla larghezza, presuppone che la porzione rumorosa possa essere recuperata esattamente tramite una proiezione affine.
Gli esperimenti usano una sola esecuzione di addestramento per configurazione; inoltre, la teoria non mostra come gli errori di denoising influenzino la distribuzione finale delle immagini generate.
Cosa mostrano le prove
- La domanda sulle reti finite
Questo paper sviluppa una teoria e conduce esperimenti su ImageNet per spiegare perché reti di diffusione con capacità limitata possano comportarsi diversamente quando devono predire l’immagine pulita o il rumore che le è stato aggiunto.
In linea di principio, entrambi gli obiettivi di predizione possono produrre la stessa stima ottimale dell’immagine pulita. Ma un predittore del rumore deve sottrarre dall’input rumoroso la propria stima del rumore, moltiplicata per un fattore; la rete deve quindi avere informazioni sufficienti per cancellare la corruzione.
- Le informazioni scartate dalla compressione
La teoria esamina cosa succede quando un collo di bottiglia nell’input scarta alcune direzioni dell’immagine rumorosa. Un codificatore lineare che conserva r direzioni su d non permette a nessun decodificatore successivo di recuperare il rumore gaussiano scartato.
Il contributo di questo rumore all’errore sull’immagine pulita cresce con il livello di rumore, mentre il rischio del predittore ottimale dell’immagine, con lo stesso collo di bottiglia, resta limitato.
- Una scorciatoia riduce il lavoro di cancellazione
L’output preconditioning aggiunge all’uscita della rete una copia dell’input rumoroso moltiplicata per un fattore. Nella teoria, il precondizionamento esatto cancella il contributo del rumore scartato, mentre la scelta EDM lo riduce all’aumentare del rumore.
In un modello JiT-B/16 con collo di bottiglia su ImageNet256, con rumore elevato l’errore sull’immagine pulita per la predizione diretta del rumore era vicino al limite previsto; quello del precondizionamento esatto e della predizione dell’immagine era molto più basso.
- Denoising e generazione
Il test di generazione indica un andamento simile. FID-10K confronta le statistiche delle immagini generate con quelle delle immagini di riferimento; punteggi più bassi indicano una maggiore corrispondenza.
Nel modello con collo di bottiglia esaminato, il precondizionamento esatto ha ottenuto 9.15 e la predizione dell’immagine 9.13, contro 412.11 per la predizione diretta del rumore; EDM ha ottenuto circa 52.28. Sono misurazioni da una sola esecuzione, quindi non mostrano l’incertezza tra esecuzioni.
- Perché una rete più larga può aiutare
Il paper studia anche la larghezza dei modelli che ricevono l’input completo. La teoria presuppone che la rappresentazione nascosta possa ricostruire la patch rumorosa tramite una proiezione affine; le coordinate aggiuntive possono quindi rappresentare le direzioni della correzione di denoising residua.
In un confronto su ImageNet256, i predittori del rumore più larghi hanno avuto un errore misurato più basso; una stima approssimata ha inoltre rilevato che la correzione a basso rumore era distribuita su più direzioni rispetto a quella ad alto rumore.
Dettagli
- Autori del paper originale
- Gyeonghun Kang, Pengxi Liu, Bingshuo Qian, Xiang Cheng
- Inviato ad arXiv
- Licenza
- CC BY 4.0