LapMerge permite aprender a combinar tokens ordenados

Cuando un modelo procesa una secuencia ordenada larga, reducir la cantidad de tokens puede disminuir el costo de procesamiento posterior, pero los cortes abruptos basados en puntuaciones pueden impedir que se entrene el componente que calcula esas puntuaciones.

¿Puede un método producir una secuencia más pequeña de tamaño exacto y mantener los pesos de los tokens conectados al resultado mediante una señal de aprendizaje?

LapMerge suaviza las posiciones de los tokens y combina las entradas dentro de intervalos de masa igual, con un presupuesto exacto y un costo lineal de combinación diferenciable.

LapMerge aborda una cuestión básica de compresión: ¿se puede reducir una secuencia ordenada a una cantidad exacta de tokens y permitir que las puntuaciones de los tokens sigan aprendiendo?

Los cortes abruptos basados en pesos acumulados pueden saltar cuando cambian las puntuaciones y bloquear la señal de gradiente para el componente que calcula esas puntuaciones.

El método suaviza las posiciones de los tokens, divide su masa en partes iguales y combina los tokens que contribuyen a cada parte. En POPE, una prueba que evalúa si un modelo de visión y lenguaje responde correctamente a preguntas sobre la presencia de objetos, el modelo fijo obtuvo una puntuación mayor que la selección con un presupuesto del 10 % de tokens visuales.

Con el 30 %, el intervalo de incertidumbre pareado incluyó cero, por lo que la evidencia de una ventaja es más débil.

Estos resultados no muestran que LapMerge mejore la precisión en todas las tareas ni con cualquier orden de tokens. La agregación favorece las posiciones cercanas, y con un presupuesto del 30 % de tokens visuales, la ventaja de POPE frente a la selección no se distinguió claramente de cero.