Un signal pour élaguer les jetons visuels à deux étapes
En termes simples
Les modèles vision-langage traitent ensemble des images et du texte. Mais réduire les informations visuelles qu’ils conservent peut avoir des effets différents selon le moment où cela se produit.
TwinPrune utilise un seul score pour choisir quels détails visuels fusionner avant la génération, puis quels détails en cache supprimer pendant la rédaction de la réponse. Dans un test de diagnostic, supprimer tous les éléments visuels du cache a changé 45,5 % des prédictions d’InternVL-3.5-8B sur TextVQA, tandis que les tests au premier jeton ont révélé au plus 0,54 % de différences.
Ces chiffres comparent les chaînes de prédiction aux sorties sans compression ; ils ne mesurent pas des variations de précision.
La recherche
Lorsqu’un modèle vision-langage est évalué uniquement sur son premier jeton généré, ce score permet-il de savoir si la suppression d’informations visuelles pendant la rédaction change la suite de la réponse ?
Selon l’article, la règle de notation compte : le score du premier jeton est fixé avant que la suppression d’éléments du cache au moment du décodage puisse agir.
TwinPrune réutilise un score de densité spatiale pour fusionner des jetons visuels avant la génération et supprimer des éléments visuels du cache au début de la réponse.
TwinPrune applique un score de densité spatiale aux deux étapes de l’inférence d’un modèle vision-langage : il guide la fusion de jetons visuels avant la génération, puis la suppression d’éléments visuels du cache au début de la rédaction de la réponse.
Sur TextVQA, qui évalue les réponses complètes par correspondance exacte, comment la suppression fondée sur la densité se compare-t-elle à H2O lorsque les deux méthodes conservent 12,5 % des éléments visuels du cache ?
InternVL-3.5-8B obtient un score de 0,648 avec la densité et de 0,552 avec H2O. Cette comparaison montre un avantage dans la configuration testée.
Les résultats portent sur sept variantes de modèles issues de trois familles, ainsi que sur les tâches et configurations testées. Les auteurs n’ont pas étudié la compression du préremplissage en plusieurs étapes.
Le calcul de densité spatiale suppose que les jetons sont disposés sur une grille régulière, ce qui limite son application directe aux tokeniseurs qui ne suivent pas cette disposition.
Analyse
Détails
- Auteurs de l’article original
- Kai Liu, Anqi Li, Junxian Li, Zhixin Wang, Zhikai Chen
- Soumis à arXiv
- Licence
- CC BY 4.0