Bifocal préserve les détails et le contexte de l’image en réduisant les unités visuelles
En termes simples
Un modèle qui analyse une image la transforme en nombreux petits éléments qu’il peut examiner. L’article présente Bifocal, une méthode qui réduit leur nombre sans entraînement supplémentaire : elle garde des éléments liés à la question, d’autres qui représentent l’image plus largement et de petits résumés du reste, puis en retire encore à l’intérieur du modèle.
Dans des tests portant sur trois familles de modèles, Bifocal a conservé plus de 90 % des performances de chaque modèle non réduit dans tous les groupes de capacités testés, avec environ un quart des éléments visuels.
La recherche
Un modèle peut-il traiter beaucoup moins d’unités visuelles sans perdre les détails nécessaires pour lire du texte ou localiser des objets ?
Les scores aux questions visuelles générales ne suffisaient pas à répondre : dans les tests plus larges de l’article, des méthodes performantes sur ces questions pouvaient perdre bien davantage sur les tâches exigeant des détails fins.
Bifocal associe des fragments ciblés par la question, d’autres sélectionnés selon l’image et des résumés regroupés, puis réduit encore les unités dans le modèle selon les liens entre texte et image et la densité locale des unités conservées.
Avec environ un quart des unités visuelles, les fragments classés selon l’image étaient avantagés pour la lecture de texte et de documents, tandis que ceux classés selon la question l’étaient pour la localisation d’objets.
Un partage égal obtenait des résultats proches de la meilleure sélection prise seule, ce qui suggère des indices complémentaires. Bifocal associe les deux types de fragments à des résumés regroupés, puis réduit encore les unités dans le modèle.
Sur cinq groupes de capacités et trois familles de modèles, elle seule a conservé plus de 90 % des performances de chaque modèle non réduit dans tous les groupes.
Ces résultats portent sur les groupes de capacités et les familles de modèles testés. Avec LLaVA-NeXT, les images produisent un nombre variable d’unités visuelles : le budget moyen d’unités ne représente donc pas une fraction fixe de celles produites pour chaque image.
Analyse
Détails
- Auteurs de l’article original
- Peiran Yin, Hao Wu, Zihao Yang, Fengyu Zhou, Yijuan Liang
- Soumis à arXiv
- Licence
- CC BY 4.0