Codici condivisi comprimono le embedding di Gemma 4

Gemma 4 memorizza un vettore per ogni token in ciascun layer del decoder, e la compressione convenzionale assegna un codice distinto a ciascuno di quei vettori.

È possibile usare una rappresentazione compatta che conservi le informazioni specifiche dei layer utilizzate dal modello senza sostenere il costo di memoria dei codici separati per ogni layer?

OPTIC condivide un codice per token tra i layer e adatta i decoder per preservare l’effetto dei vettori all’uscita della proiezione del modello.

Per BF16 E4B, con una compressione delle PLE di circa 100x OPTIC ha mantenuto il 97.8% delle prestazioni aggregate su sette attività, contro il 66.3% di product quantization, la baseline convenzionale più forte. I valutatori specifici per attività hanno esaminato gli output del modello; il mantenimento confronta ciascun punteggio con quello corrispondente ottenuto con PLE non compresse, limita i guadagni al 100% e combina i sette risultati assegnando loro lo stesso peso.

Con W4A16 E4B ufficiale, OPTIC ha mantenuto il 96.9%, contro l’82.8% della baseline convenzionale più forte. Con rapporti di compressione effettivi delle PLE in BF16 E4B pari a 594x e 1,002x, ha mantenuto rispettivamente il 90.5% e l’84.1%.

La valutazione riguarda Gemma 4 E2B ed E4B, e i confronti principali usano un solo seed di fitting. Nel confronto sulla condivisione dei codici cambia anche il modo in cui il budget di memoria è diviso tra codici e decoder: il confronto quindi non isola il solo effetto della condivisione.