FR
TileShare réduit les calculs répétés dans les décodeurs visuels par tuiles
TileShare: Training-Free Acceleration of Overlapping Tiled ViT Decoding · arXiv:2610.32233
En termes simples
Certains décodeurs d’images sont entraînés sur de petites fenêtres, puis traitent des images ou des vidéos plus grandes en les découpant en tuiles qui se chevauchent. Les calculs sont alors répétés dans les zones communes aux tuiles.
Mais supprimer ces tuiles peut changer la façon dont le modèle tient compte des autres parties de l’image. TileShare partage de nombreux calculs entre les tuiles tout en conservant l’attention propre à chacune.
Dans les tests avec MiniMax-H3, garder séparément les six premières couches a donné des résultats de qualité comparables à ceux du décodeur d’origine sur les vidéos DAVIS. Sur un autre ensemble de vidéos, UVG, les résultats étaient équivalents pour deux mesures et satisfaisaient au critère de non-infériorité pour la troisième, sans atteindre la marge d’équivalence fixée pour celle-ci.
La recherche
Lorsqu’un décodeur Vision Transformer entraîné sur des fenêtres fixes traite une entrée plus grande, les tuiles chevauchantes préservent le contexte d’attention de chacune, mais répètent les calculs dans les zones communes.
Un décodeur peut-il partager ces calculs sans modifier sensiblement la qualité de l’image ou de la vidéo reconstruite ?
TileShare partage les calculs par jeton entre des tuiles chevauchantes tout en préservant l’attention de chaque tuile, puis évalue combien de couches initiales doivent rester séparées.
TileShare calcule une seule fois par jeton la normalisation et les projections, exécute toujours l’attention séparément pour chaque tuile, puis combine les résultats d’attention des jetons situés dans les zones de chevauchement.
Les chercheurs ont comparé MiniMax-H3 au décodeur publié en faisant varier le nombre de couches initiales conservées séparément pour chaque tuile.
Sur All-38, l’écart moyen de PSNR était de −0.290 dB lorsque toutes les couches étaient partagées et de −0.003 dB lorsque quatre couches restaient séparées. Le PSNR compare les pixels reconstruits à ceux d’une référence : plus il est élevé, plus ils concordent.
L’écart de −0.003 dB se situait dans la marge d’équivalence de l’article. Les comparaisons avec six couches séparées appuyaient aussi une qualité comparable sur les vidéos DAVIS et sur les vidéos UVG évaluées après fixation des réglages.
Les résultats sur la qualité concernent les modèles et les ensembles de vidéos testés. All-38 comprend des séquences utilisées pour choisir les réglages. Sur les vidéos UVG évaluées ensuite, avec les réglages fixés, TileShare-6 a obtenu des résultats équivalents au décodeur publié en PSNR et en DISTS, et a satisfait au critère de non-infériorité en LPIPS.
Il n’a toutefois pas atteint la marge d’équivalence plus stricte retenue par l’étude pour cette mesure.
Ce que montrent les preuves
- Les calculs répétés dans les zones communes
TileShare est une méthode sans entraînement qui accélère le décodage par tuiles chevauchantes avec un Vision Transformer. Ces décodeurs utilisent des tuiles qui se chevauchent pour traiter des entrées plus grandes que leurs fenêtres d’entraînement, mais les jetons des zones communes sont calculés plusieurs fois.
Pour MiniMax-H3, aux résolutions indiquées, ces calculs répétés représentaient en moyenne 44–51 % des calculs par jeton dans une image.
- Partager les calculs tout en préservant l’attention
La méthode partage les calculs qui portent sur chaque jeton tout en préservant l’attention de chaque tuile, c’est-à-dire les informations auxquelles elle prête attention. Pour les jetons couverts par plusieurs tuiles, elle combine leurs sorties d’attention selon les poids du décodeur publié.
Elle crée ainsi un état partagé pour les couches suivantes, alors que le décodeur d’origine conserve un état distinct par tuile. Les couches initiales peuvent rester séparées pour chaque tuile afin de limiter l’effet de ce changement.
- Localiser la source de la perte de qualité
Les chercheurs ont utilisé des comparaisons avec MiniMax-H3 pour localiser le coût en qualité. Le PSNR compare les pixels reconstruits à ceux d’une référence : plus il est élevé, plus ils concordent.
Le partage du seul MLP a modifié le PSNR moyen de −0.022 dB par rapport au décodeur publié ; le partage complet dès la première couche l’a modifié de −0.290 dB. Les auteurs interprètent cet écart comme un indice que la perte la plus importante apparaît lorsque l’attention lit des états combinés, et non du seul partage du MLP.
- Choisir le nombre de couches à conserver
Le nombre de couches initiales conservées séparément pour chaque tuile influait sur la qualité de sortie. Sur All-38, qui rassemble huit séquences de développement et 30 vidéos DAVIS, l’écart moyen de PSNR était de −0.290 dB lorsque toutes les couches étaient partagées et de −0.003 dB lorsque quatre restaient séparées.
Ce dernier écart se situe dans la marge d’équivalence de ±0.05 dB retenue par l’article. Avec six couches séparées, les résultats sur DAVIS-30 et les vidéos UVG évaluées ensuite appuyaient une qualité comparable, sous réserve de la mesure LPIPS sur UVG.
- Tester d’autres décodeurs
Les chercheurs ont aussi testé TileShare sur MAGI-1 et ViTok-v2, avec des profondeurs par tuile différentes. Sur les ensembles de vidéos MAGI-1 testés, les résultats correspondaient aux mesures de qualité indiquées, avec une réserve pour LPIPS sur UVG.
Pour ViTok-v2, la méthode correspondait au PSNR et améliorait LPIPS et DISTS sur les ensembles d’images testés. Un examen de 14 configurations a montré que certaines n’avaient pas besoin de tuiles et que la profondeur requise variait pour les autres.
Détails
- Auteurs de l’article original
- Xiangzhong Ye, Zhongshen Li, Shen You, Ziyang Meng, Liang Xu
- Soumis à arXiv
- Licence
- arXiv non-exclusive