Una señal poda tokens visuales en dos etapas

Si un modelo de visión y lenguaje se evalúa solo por su primer token generado, ¿esa puntuación permite saber si eliminar información visual durante la generación cambia el resto de la respuesta? El artículo sostiene que la regla de puntuación importa: la puntuación del primer token queda fijada antes de que surta efecto la eliminación de elementos de la caché durante la decodificación.

TwinPrune reutiliza una puntuación de densidad espacial para fusionar tokens visuales antes de generar la respuesta y eliminar entradas visuales de la caché al comenzar la generación.

TwinPrune aplica una misma puntuación de densidad espacial a las dos etapas de inferencia de visión y lenguaje: guía la fusión de tokens visuales antes de generar la respuesta y la eliminación de elementos de la caché visual cuando empieza la generación. En TextVQA, que puntúa las respuestas generadas completas mediante coincidencia exacta, ¿cómo se comparó la eliminación basada en densidad con H2O cuando ambos métodos conservaron el 12,5 % de las entradas de la caché visual?

InternVL-3.5-8B obtuvo 0,648 con la eliminación por densidad y 0,552 con H2O. La comparación muestra una ventaja en esa configuración evaluada.

Estos resultados abarcan siete variantes de modelos de tres familias y las tareas y configuraciones evaluadas.

Los autores no probaron la compresión del prellenado en varias etapas, y el cálculo de densidad espacial presupone que los tokens están en una cuadrícula regular, lo que limita su aplicación directa a tokenizadores que no usan cuadrículas.