IT
Un nuovo tokenizer di immagini scala e resiste alle scorciatoie
Generative Representation Learning for Scalable Latent Tokenization · arXiv:2610.20533
In parole semplici
Un tokenizer di immagini trasforma un’immagine in rappresentazioni che un modello generativo può usare. Questo articolo introduce Relative Prediction Representations (RePR), un metodo self-supervised per addestrare un tokenizer: un modello di previsione stima quanto una porzione parzialmente visibile dell’immagine aiuti a prevedere una patch; un secondo modello impara rappresentazioni delle patch che riflettono quell’informazione.
In un test con immagini ImageNet contrassegnate da segni che ne identificavano l’origine, LeJEPA e DINOv3 avrebbero conservato solo il segno. In questa prova RePR ha evitato quel collasso, suggerendo che può mantenere informazioni anche quando è disponibile una scorciatoia.
La ricerca
Se una rappresentazione di immagini conserva solo gli indizi necessari per un singolo compito di apprendimento, può mantenere anche gli altri dettagli di cui un modello generativo ha bisogno?
La domanda conta perché la generazione deve rappresentare variabili che un obiettivo discriminativo può ignorare: un tokenizer addestrato con un obiettivo più ristretto potrebbe quindi tralasciare informazioni visive utili.
Relative Prediction Representations (RePR) addestra tokenizer di immagini a riflettere quanto una porzione parzialmente visibile aiuti a prevederne un’altra, con l’obiettivo di conservare informazioni utili alla generazione.
Gli autori valutano la generazione su ImageNet con Latent Forcing, che riduce il rumore nella rappresentazione appresa prima di produrre i pixel.
Nella generazione guidata su ImageNet, con JiT-L e un calcolo totale di addestramento pressoché pareggiato, RePR-78M ha ottenuto 2.18 contro 2.36 per JiT-L applicato direttamente ai pixel, secondo il punteggio FID dell’articolo per i risultati delle immagini generate, su 50,000 generazioni per condizione.
Poiché il budget comprende l’addestramento del tokenizer e del modello generativo, il risultato sostiene un miglioramento della generazione a un costo totale simile in queste configurazioni.
Il risultato riguarda le configurazioni ImageNet elencate. Il confronto di circa sette volte con DINOv2 è un’estrapolazione da una tendenza nel calcolo di addestramento dell’encoder, non deriva da un addestramento confrontabile svolto direttamente; inoltre, l’encoder ImageNet con larghezza 1024 ha iniziato a sovra-adattarsi dopo 200 epoche.
Cosa mostrano le prove
- Le informazioni che il tokenizer può perdere
Un tokenizer di immagini fornisce le rappresentazioni che un modello generativo usa per modellare le immagini. Un obiettivo di rappresentazione può premiare pochi indizi, come l’identità dell’immagine, e scartare altre variabili visive.
Questa soppressione di caratteristiche è poco adatta alla generazione quando le informazioni omesse devono comunque essere rappresentate.
- Un metodo basato sulla previsione
Relative Prediction Representations (RePR) è il metodo self-supervised dell’articolo per addestrare tokenizer destinati ai modelli generativi. Un modello di previsione stima quanto una porzione parzialmente visibile aiuti a prevedere una patch; poi un modello di rappresentazione separato produce vettori per le patch che riflettono tale contributo. L’obiettivo deriva da un compito di previsione generativa, non da esempi negativi.
- Una prova dell’apprendimento di scorciatoie
Gli autori creano immagini ImageNet con filigrane in cui ogni patch contiene un segno che identifica l’immagine di origine. Addestrano LeJEPA, DINOv3 e RePR sia su immagini standard sia su quelle marcate.
Sulle immagini con filigrana, LeJEPA e DINOv3 collassano, secondo quanto riportato, sulla sola filigrana, mentre RePR resta robusto in questa situazione costruita appositamente.
- Generazione con calcolo simile
Per la generazione, gli autori usano Latent Forcing, che riduce il rumore nelle rappresentazioni apprese prima di produrre i pixel, e confrontano RePR-78M con JiT-L con JiT-L applicato direttamente ai pixel, nella generazione guidata su ImageNet.
Con un calcolo totale di addestramento pressoché pareggiato, RePR riporta un punteggio migliore sulle immagini generate, per 50,000 generazioni in ciascuna condizione. Il confronto include il calcolo necessario per addestrare sia il tokenizer sia il modello generativo.
- La scalabilità su dati diversi
Gli autori variano anche il calcolo dell’encoder RePR su ImageNet e GPIC, un dataset da testo a immagine. Le tendenze stimate prevedono prestazioni ImageNet al livello di DINOv2 e un punteggio GPIC al livello di WebSSL-DINO-1B con meno calcolo per addestrare il tokenizer.
Sono proiezioni, non confronti diretti tra addestramenti pareggiati; i passaggi forniti non spiegano il calcolo del punteggio GPIC.
Dettagli
- Autori del paper originale
- Alan Baade, Kyle Sargent, Vincent Sitzmann, Eric Ryan Chan, Justin Johnson
- Inviato ad arXiv
- Licenza
- CC BY 4.0