Bifocal conserva detalle y contexto al reducir la entrada visual

¿Puede un modelo procesar muchos menos tokens visuales —las piezas con que analiza una imagen— sin perder el detalle necesario para leer texto o localizar objetos?

Los resultados en preguntas generales sobre imágenes no bastaban para responderlo: las pruebas más amplias del artículo encontraron que algunos métodos con buenos resultados en esas preguntas podían perder mucho más rendimiento en tareas que exigen detalles precisos.

Bifocal combina fragmentos relacionados con la pregunta, otros elegidos según la imagen y resúmenes agrupados; después reduce más tokens dentro del modelo según la atención del texto y la densidad local de tokens conservados.

Con aproximadamente una cuarta parte de los tokens visuales, los fragmentos clasificados según la imagen favorecieron la lectura de texto y documentos, mientras que los clasificados según la pregunta favorecieron la localización de objetos.

Un reparto equilibrado obtuvo resultados cercanos a los de la mejor vía individual, lo que sugiere que conservan información complementaria. Bifocal combina ambos tipos de fragmentos con resúmenes agrupados y después reduce más tokens dentro del modelo.

En cinco grupos de capacidades y tres familias de modelos, fue el único método evaluado que conservó más del 90% del rendimiento sin reducir de cada modelo en todos los grupos.

Los resultados se limitan a los grupos de capacidades y las familias de modelos evaluados. En LLaVA-NeXT, las imágenes producen cantidades distintas de tokens visuales, por lo que su presupuesto medio de tokens no equivale a una fracción fija de la entrada de cada imagen.