Des codes partagés compressent fortement les embeddings de Gemma 4

Gemma 4 stocke un vecteur pour chaque jeton à chaque couche du décodeur, et les méthodes classiques de compression attribuent un code distinct à chacun de ces vecteurs.

Une représentation compacte peut-elle conserver les informations propres à chaque couche que le modèle utilise, sans payer le coût de stockage d’un code par couche ?

OPTIC partage un code par jeton entre les couches et ajuste les décodeurs pour préserver l’effet des vecteurs à la sortie de projection du modèle.

Pour E4B en BF16, OPTIC conservait 97,8 % des performances agrégées sur sept tâches à environ 100× de compression des PLE, contre 66,3 % avec la quantification produit, la meilleure référence classique. Les évaluateurs propres à chaque tâche ont mesuré les sorties du modèle ; la rétention compare chaque score à celui obtenu avec des PLE non compressés pour le même checkpoint, plafonne les gains à 100 % et combine les sept tâches avec une pondération égale.

Sur E4B en W4A16 officiel, OPTIC conservait 96,9 %, contre 82,8 % pour la meilleure référence classique. Aux taux réels de compression des PLE de 594× et 1 002×, OPTIC conservait 90,5 % et 84,1 % en BF16 sur E4B.

L’évaluation porte sur Gemma 4 E2B et E4B, et les principales comparaisons utilisent une seule graine d’ajustement. La comparaison sur le partage des codes modifie aussi la répartition du budget de stockage entre les codes et les décodeurs ; elle ne permet donc pas d’isoler le seul effet du partage.