Códigos compartidos comprimen las embeddings de Gemma 4

Gemma 4 almacena un vector para cada token en cada capa del decodificador, y la compresión convencional asigna un código distinto a cada uno de esos vectores.

¿Puede una representación compacta conservar la información específica de cada capa que usa el modelo sin asumir ese costo de almacenamiento por capa?

OPTIC comparte un código por token entre capas y ajusta los decodificadores para conservar el efecto de los vectores en la salida de la proyección del modelo.

En E4B con BF16, OPTIC conservó el 97.8% del rendimiento agregado en siete tareas con una compresión PLE de aproximadamente 100x, frente al 66.3% de product quantization, la mejor línea base convencional. Los evaluadores específicos de cada tarea midieron las salidas del modelo; la retención compara cada puntuación con la correspondiente del mismo modelo con PLE sin comprimir, limita las mejoras al 100% y combina las siete tareas con el mismo peso.

En E4B con W4A16 oficial, OPTIC conservó el 96.9%, frente al 82.8% de la mejor línea base convencional. Con razones reales de compresión BF16 E4B de 594x y 1,002x, conservó el 90.5% y el 84.1%.

La evaluación abarca Gemma 4 E2B y E4B, y las comparaciones principales usan una sola semilla de ajuste.

La comparación sobre compartir códigos también cambia cómo se reparte el presupuesto de almacenamiento entre códigos y decodificadores, por lo que no permite aislar únicamente el efecto de compartirlos.