Un projecteur peut aligner vision et langage sans légendes d'images
En termes simples
Un modèle vision-langage a besoin d'un pont qui transforme ce que son lecteur d'images détecte en caractéristiques exploitables par le modèle de langage. Cet article présente PORTAL, une façon de construire ce pont en mesurant les régularités dans les caractéristiques de chaque modèle, sans paires image-légende ni entraînement du pont par mises à jour de gradient.
Sur sept combinaisons de modèles testées, les scores moyens de PORTAL étaient proches de ceux des ponts entraînés sur des légendes appariées. Deux combinaisons présentaient néanmoins des faiblesses spécifiques sur la lecture de texte et les graphiques.
La recherche
L'alignement par projecteur est une première étape standard dans l'entraînement des modèles de langage multimodaux, mais les études ne s'accordent pas sur sa nécessité ni sur la quantité de paires image-légende qu'il requiert.
Que contribue réellement cette étape : des liens détaillés entre images et légendes, ou simplement une compatibilité de base entre les caractéristiques visuelles et linguistiques ?
PORTAL construit un projecteur vision-langage à partir de statistiques de caractéristiques séparées, sans légendes appariées ni optimisation d'alignement, tout en restant proche des bases entraînées sur les modèles testés.
Les auteurs ont cherché à savoir si l'alignement nécessite un apprentissage détaillé sur des paires image-légende, en réduisant les données appariées et en mélangeant des projecteurs entraînés sur des jeux de données différents.
La plupart des gains sont apparus avec une faible fraction des données, et les mélanges inter-jeux de données sont restés efficaces lorsque les projecteurs partageaient la même initialisation.
Ils ont ensuite construit PORTAL à partir de statistiques de caractéristiques séparées.
Après un ajustement par instruction identique, il a atteint en moyenne un score proche du projecteur entraîné sur sept combinaisons de modèles testées, ce qui soutient l'idée qu'un alignement grossier constitue une explication utile.
Ces résultats concernent des encodeurs de vision et de langage gelés, des entrées à image unique, ainsi que les architectures de projecteurs et combinaisons de modèles testées.
Les auteurs décrivent le conditionnement géométrique grossier comme l'explication la plus simple compatible avec leurs données, non comme le seul mécanisme possible.
Analyse
Détails
- Auteurs de l’article original
- Fabian Gröger, Naël Ouerghemi, Shuo Wen, Maria Brbić
- Soumis à arXiv
- Licence
- arXiv non-exclusive