Ajustar la compresión visual al cómputo y la memoria de caché
Una pregunta sobre una imagen puede parecer fácil incluso después de eliminar la mayoría de los tokens visuales, pero aún podrían perderse una palabra pequeña o la ubicación de un objeto.
Durante la generación de la respuesta aparece otra limitación: la información visual almacenada en caché ocupa memoria.
El primer paso útil es identificar la etapa limitada. Reducir los tokens visuales cambia la representación que procesa el modelo; expulsar información visual almacenada en caché cambia aquello de lo que pueden valerse las palabras generadas después. Los estudios evalúan estas opciones con distintos modelos y preguntas.
Qué comprenderás
¿La limitación está en la cantidad de tokens visuales que se procesan o en la información visual almacenada para generar después?
¿Cuándo necesita una pregunta sobre una imagen detalles visuales distintos y cuándo podría ser útil combinar tokens según su orden?
¿El benchmark elegido puntúa la parte de la generación que puede cambiar la expulsión de elementos de la caché?
Identificar el recurso limitado
Imagina un asistente que debe leer el texto de una imagen y señalar un objeto por su nombre. Quien lo opera quiere enviar menos tokens visuales al modelo de lenguaje.
Un token visual es una parte de la imagen representada para que el modelo la procese. Conservar menos partes puede ayudar a reducir el costo de procesamiento, pero una puntuación en preguntas corrientes sobre imágenes puede ocultar dificultades para leer o localizar detalles pequeños. El estudio Bifocal encontró esa tensión en los tipos de preguntas que evaluó.
La palabra «presupuesto» puede referirse a distintos recursos. Bifocal reduce la secuencia de tokens visuales antes de que llegue al modelo de lenguaje y dentro de él. LapMerge también produce una secuencia más corta, pero combina entradas ordenadas para alcanzar una cantidad de salida elegida.
TwinPrune aborda esa etapa de procesamiento y una decisión posterior de almacenamiento: cuántas entradas visuales permanecen en la caché del modelo mientras genera una respuesta. Por tanto, una secuencia de entrada más corta y una caché más pequeña describen intervenciones distintas.
El momento en que se actúa importa. Primero, el modelo procesa conjuntamente la imagen y la pregunta; esta etapa se llama prefill.
Después genera los tokens de la respuesta uno tras otro y, durante la decodificación, usa la información visual almacenada. Si preocupa el trabajo realizado al procesar la entrada, resulta pertinente reducir o combinar tokens visuales.
Si preocupa la memoria ocupada mientras se generan las palabras posteriores, resulta pertinente expulsar elementos de la caché. La pregunta común es qué información deja disponible cada decisión y qué prueba puede revelar una pérdida.
Cómo continúa la lección
Conservar evidencia visual complementaria
Combinar tokens según su orden
Evaluar la caché durante la generación
Aplicar cada opción dentro de sus límites