Spostare l’addestramento aiuta i modelli a seguire le coordinate

Se un generatore di immagini può rappresentare informazioni spaziali nel componente che interpreta il testo, perché le coordinate del prompt possono comunque non collocare correttamente gli oggetti?

Il paper verifica se modificare l’addestramento possa aiutarlo a usare quelle coordinate senza aggiungere componenti strutturali al modello.

Il metodo sottopone i generatori di immagini a fine-tuning facendogli incontrare più spesso fasi con rumore elevato, per aiutarli a collocare gli oggetti secondo le coordinate del prompt.

Gli autori testano il metodo con prompt sintetici che descrivono rettangoli colorati, così ogni immagine generata può essere confrontata con un riferimento a livello di pixel. Variano la media della distribuzione dei livelli di rumore mantenendo fissa la deviazione standard.

Nel test a 256x256, il punteggio relativo alla disposizione è 25.9 con una distribuzione centrata e 80.8 con media 1.0; il riferimento per la ricostruzione VAE è 83.6. Il punteggio calcola la sovrapposizione tra maschere di colore generate e di riferimento, considerando colori e soglie di corrispondenza cromatica.

Il risultato sostiene l’ipotesi che, in questa impostazione, spostare l’addestramento verso livelli di rumore più alti possa aiutare il modello a seguire le coordinate. Ulteriori test mostrano che lo spostamento migliore varia con la risoluzione; una misura basata su un rilevatore migliora anche su immagini COCO selezionate.

I risultati mostrano che modificare la distribuzione del rumore usata nell’addestramento può migliorare i punteggi relativi alla disposizione degli oggetti in questi test, ma non dimostrano che il cambiamento sia utile per ogni modello o impostazione di generazione.

Spostamenti più marcati possono ridurre la precisione di texture o colori; inoltre, il risultato sulle immagini reali usa un rilevatore come indicatore indiretto della correttezza della disposizione.