TileShare reduce cálculos repetidos en decodificadores visuales por mosaicos
TileShare: Training-Free Acceleration of Overlapping Tiled ViT Decoding · arXiv:2610.32233
En palabras sencillas
Algunos decodificadores visuales se entrenan con ventanas pequeñas, pero luego procesan imágenes o videos más grandes al dividirlos en mosaicos que se solapan. Así repiten cálculos en las zonas compartidas.
Quitar los mosaicos sin más puede cambiar la forma en que cada uno presta atención a la imagen. TileShare comparte muchos cálculos entre mosaicos, pero mantiene la atención propia de cada uno.
En las pruebas con MiniMax-H3, conservar separadas las seis primeras capas produjo resultados de calidad comparables a los del decodificador original en videos de DAVIS. En otro conjunto, videos de UVG, se obtuvo un resultado similar según las medidas informadas.
La investigación
Cuando un decodificador Vision Transformer con ventanas fijas procesa una entrada mayor, los mosaicos solapados conservan el contexto de atención de cada uno, pero repiten cálculos en las zonas compartidas.
¿Puede el decodificador compartir ese trabajo repetido sin cambiar de forma sustancial la calidad de la imagen o el video reconstruidos?
TileShare comparte cálculos por token entre mosaicos solapados y conserva la atención de cada uno; luego evalúa cuántas capas iniciales deben mantenerse separadas.
TileShare calcula una vez la normalización y las proyecciones de cada token, ejecuta la atención por separado para cada mosaico y combina los resultados de atención de los tokens solapados.
Los investigadores compararon MiniMax-H3 con el decodificador publicado y variaron cuántas capas iniciales se mantenían separadas en cada mosaico.
En All-38, la diferencia media de PSNR fue de −0.290 dB al compartir todas las capas y de −0.003 dB al mantener cuatro separadas. PSNR compara los píxeles reconstruidos con una referencia; cuanto mayor es el valor, más coinciden los píxeles.
La diferencia de −0.003 dB quedó dentro del margen de equivalencia del artículo. Las comparaciones con seis capas separadas también respaldaron una calidad comparable en videos de DAVIS y en videos de UVG evaluados después de fijar los ajustes.
La evidencia sobre calidad se limita a los modelos y conjuntos de videos probados. All-38 incluye clips usados al elegir los ajustes.
En los videos de UVG evaluados después, TileShare-6 igualó al decodificador publicado en PSNR y DISTS, y no fue inferior en LPIPS; sin embargo, no alcanzó el margen de equivalencia más estricto del estudio para esta última medida.
Qué muestran las pruebas
- Cálculos repetidos en las zonas solapadas
TileShare es un método que acelera, sin entrenamiento adicional, la decodificación con mosaicos solapados en Vision Transformers. Estos decodificadores usan mosaicos que se solapan para procesar entradas mayores que sus ventanas de entrenamiento, pero vuelven a calcular los tokens de las zonas compartidas.
En MiniMax-H3 y las resoluciones informadas, ese trabajo repetido representó, en promedio, entre el 44 y el 51 % de los cálculos por token en un fotograma.
- Compartir cálculos y conservar la atención
El método comparte los cálculos que operan sobre tokens individuales y conserva la atención propia de cada mosaico. Para los tokens cubiertos por varios mosaicos, combina sus resultados de atención con los pesos publicados.
Así genera un estado compartido para las capas posteriores, donde el decodificador original conserva un estado separado para cada mosaico. Las capas iniciales pueden seguir ejecutándose por separado para limitar el efecto de este cambio.
- Localizar el origen de la pérdida de calidad
Los investigadores hicieron comparaciones con MiniMax-H3 para localizar el costo en calidad. PSNR compara los píxeles reconstruidos con una referencia; cuanto mayor es el valor, más coinciden los píxeles.
Al compartir solo la MLP, el PSNR medio cambió en −0.022 dB respecto del decodificador publicado; al compartir todas las capas desde la primera, cambió en −0.290 dB. Los autores interpretan esta diferencia como evidencia de que el costo mayor aparece cuando la atención lee estados combinados, y no al compartir únicamente la MLP.
- Elegir cuántas capas conservar
La cantidad de capas iniciales conservadas por separado en cada mosaico afectó a la calidad de salida. En All-38, que reúne ocho clips de desarrollo y 30 videos de DAVIS, la diferencia media de PSNR fue de −0.290 dB al compartir todas las capas y de −0.003 dB al mantener cuatro capas separadas.
Esta última diferencia queda dentro del margen de equivalencia de ±0.05 dB del artículo. Con seis capas separadas, los resultados respaldaron una calidad comparable en videos de DAVIS y en videos de UVG evaluados posteriormente, con una salvedad para LPIPS en UVG.
- Probar otros decodificadores
Los investigadores también probaron TileShare en MAGI-1 y ViTok-v2 con distintas profundidades por mosaico. En los conjuntos de video probados con MAGI-1, igualó las medidas de calidad informadas, con una salvedad para LPIPS en UVG.
En los conjuntos de imágenes probados con ViTok-v2, igualó PSNR y mejoró LPIPS y DISTS. Una revisión de 14 configuraciones mostró que algunas no necesitaban mosaicos y que la profundidad requerida variaba entre las que sí los necesitaban.
Detalles
- Autores del paper original
- Xiangzhong Ye, Zhongshen Li, Shen You, Ziyang Meng, Liang Xu
- Enviado a arXiv
- Licencia
- arXiv non-exclusive