FR
Un tokenizer d’images passe à l’échelle en résistant aux raccourcis
Generative Representation Learning for Scalable Latent Tokenization · arXiv:2610.20533
En termes simples
Un tokenizer d’images transforme une image en représentations qu’un modèle génératif peut utiliser. Cet article présente Relative Prediction Representations (RePR), une méthode auto-supervisée pour en entraîner un : un modèle de prédiction estime dans quelle mesure une vue partiellement masquée aide à prédire une portion de l’image, puis un second modèle apprend des représentations de portions qui reflètent cette information.
Sur des images ImageNet marquées de façon à identifier leur image d’origine, LeJEPA et DINOv3 auraient conservé uniquement la marque. Dans ce test, RePR a évité cette réduction, ce qui suggère qu’il peut conserver de l’information lorsqu’un tel raccourci est disponible.
La recherche
Si une représentation d’image ne conserve que les indices utiles à une tâche d’apprentissage, peut-elle aussi préserver les autres détails nécessaires à un modèle génératif ? La question compte parce que la génération doit prendre en compte des variables qu’un objectif conçu pour distinguer les images peut ignorer.
Un tokenizer entraîné avec un objectif plus étroit pourrait donc écarter des informations utiles sur l’image.
Relative Prediction Representations (RePR) entraîne des tokenizers d’images à refléter dans quelle mesure une vue partiellement masquée aide à en prédire une autre, afin de préserver les informations nécessaires à la génération.
Les auteurs testent la génération sur ImageNet avec Latent Forcing, qui débruite la représentation apprise avant de produire les pixels.
Pour la génération guidée sur ImageNet avec JiT-L et des calculs d’entraînement totaux presque équivalents, RePR-78M obtient 2.18, contre 2.36 pour JiT-L générant directement les pixels, selon le score FID rapporté pour les images produites, sur 50,000 générations par condition.
Comme le budget comprend l’entraînement du tokenizer et du générateur, ces résultats étayent un gain en génération à coût total comparable dans ces configurations.
Le résultat porte sur les configurations ImageNet indiquées. La comparaison d’environ sept fois avec DINOv2 est une extrapolation à partir d’une tendance des calculs d’entraînement de l’encodeur, et non le résultat d’un entraînement directement comparable ; l’encodeur ImageNet de largeur 1024 a aussi commencé à surapprendre après 200 époques.
Ce que montrent les preuves
- Les informations perdues par le tokenizer
Un tokenizer d’images fournit les représentations qu’un modèle génératif utilise pour modéliser les images. Un objectif de représentation peut privilégier un petit nombre d’indices, comme l’identité de l’image, et écarter d’autres variables.
Cette suppression de caractéristiques convient mal à la génération si les informations écartées doivent tout de même être représentées.
- Une méthode fondée sur la prédiction
Relative Prediction Representations (RePR) est la méthode auto-supervisée proposée dans l’article pour entraîner des tokenizers destinés aux modèles génératifs. Un modèle de prédiction estime dans quelle mesure une vue partiellement masquée aide à prédire une portion de l’image ; un modèle de représentation distinct apprend ensuite à produire des vecteurs de portions qui reflètent cette quantité. La cible vient d’une tâche de prédiction générative, et non d’exemples négatifs.
- Un test d’apprentissage par raccourci
Les auteurs créent des images ImageNet filigranées où chaque portion porte une marque identifiant l’image source. Ils entraînent LeJEPA, DINOv3 et RePR sur des images standard et marquées.
Sur les images filigranées, LeJEPA et DINOv3 se réduiraient au seul filigrane, tandis que RePR reste robuste dans ce contexte artificiel.
- Générer à calculs comparables
Pour la génération, les auteurs utilisent Latent Forcing, qui débruite les représentations apprises avant la production des pixels, et comparent RePR-78M avec JiT-L à JiT-L générant directement les pixels, pour la génération guidée sur ImageNet.
À calculs d’entraînement totaux presque équivalents, RePR obtient un meilleur score rapporté sur 50,000 générations par condition. La comparaison inclut les calculs d’entraînement du tokenizer et du générateur.
- Le passage à l’échelle selon les données
Les auteurs font aussi varier les calculs consacrés à l’encodeur RePR sur ImageNet et GPIC, un jeu de données texte-image. D’après les tendances ajustées, ils estiment que les performances pourraient atteindre le niveau de DINOv2 sur ImageNet et le score de WebSSL-DINO-1B sur GPIC avec moins de calculs d’entraînement du tokenizer.
Ce sont des projections, et non des entraînements directement comparables ; les extraits fournis ne définissent pas le calcul du score GPIC.
Détails
- Auteurs de l’article original
- Alan Baade, Kyle Sargent, Vincent Sitzmann, Eric Ryan Chan, Justin Johnson
- Soumis à arXiv
- Licence
- CC BY 4.0