FR
La compression de Mamba-2 préserve les directions d’état utiles conjointement
Balanced State Subspaces for Mamba-2 State Compression · arXiv:2610.36617
En termes simples
Les modèles de langage Mamba-2 gardent des informations dans un état interne qui évolue à mesure qu’ils lisent du texte. Les méthodes de compression précédentes choisissent des éléments de cet état un par un, mais l’article avance que les informations utiles peuvent dépendre de la manière dont plusieurs éléments fonctionnent ensemble.
La méthode BASS repère un ensemble plus petit de directions vers lesquelles l’information est écrite et depuis lesquelles elle est lue. Sur cinq checkpoints Mamba-2, avec la moitié de l’état conservée, elle a entraîné une hausse moyenne de perplexité plus faible que le compresseur GHOST sur WikiText-2 ; les résultats variaient selon le checkpoint.
La recherche
Un état récurrent ne peut être réduit que s’il conserve les informations qui continuent d’influencer les sorties du modèle.
L’article demande si choisir des coordonnées individuelles fait perdre des combinaisons utiles, et si un modèle compressé peut préserver la qualité de prédiction du langage et de récupération d’information en gardant les directions qui fonctionnent ensemble.
BASS compresse les états de Mamba-2 entraînés en conservant les directions conjointement alimentées et lues, tandis que HARP répartit ces directions entre les couches.
L’article demande si l’on peut compresser les états de Mamba-2 entraînés sans écarter des informations utiles qui dépendent de plusieurs coordonnées de l’état.
BASS sélectionne un sous-espace selon l’intensité avec laquelle ses directions sont alimentées et lues, tandis que HARP répartit les modes conservés entre les couches.
Sur cinq checkpoints, avec la moitié de l’état conservée, BASS avec HARP a entraîné une hausse moyenne de perplexité sur WikiText-2 inférieure à celle de GHOST.
Dans un test à rang moyen identique sur Mamba2-130M, le seuil minimal de récupération de HARP a également amélioré la perplexité et la précision sur le dernier mot de LAMBADA par rapport à une répartition uniforme, ce qui suggère que la répartition entre couches influe sur ces deux mesures.
Les résultats portent sur les checkpoints Mamba-2 testés et sur des évaluations de modélisation du langage. L’article ne teste ni la généralisation à des séquences plus longues, ni les tâches hors distribution ou à zéro exemple, ni les modèles de vision ou hybrides.
Ce que montrent les preuves
- La question de la compression
BASS est une méthode appliquée après l’entraînement pour compresser l’état récurrent de modèles Mamba-2 entraînés. L’article demande si la compression peut préserver la manière dont les directions de l’état fonctionnent ensemble, puisque les méthodes fondées sur les coordonnées évaluent des canaux individuels, même lorsque leurs scores tiennent compte des sorties.
Selon les auteurs, ces scores manquent la structure conjointe d’écriture et de lecture, qui détermine comment l’état agit sur les sorties.
- Conserver les directions conjointes de l’état
BASS estime avec quelle intensité les entrées alimentent les directions de l’état et avec quelle intensité ces directions contribuent aux sorties. Elle s’appuie sur les deux mesures pour sélectionner un sous-espace plus petit, qui peut combiner les coordonnées natives.
La transformation de rang complet préserve exactement la récurrence ; conserver moins de modes en donne une approximation. HARP répartit ensuite les modes conservés entre les couches selon leur spectre et leur sensibilité à la récupération d’information.
- Comparer la structure
Un diagnostic a comparé des sélections de rang 32 dans Mamba2-130M. Toutes couches confondues, le sous-espace équilibré a préservé une médiane de 96.6 % de l’énergie de Hankel empirique, contre 70.0 % pour le meilleur classement de coordonnées selon la diagonale marginale.
Cette mesure porte sur la préservation de la structure conjointe d’écriture et de lecture, pas sur la qualité du modèle de langage. Elle étaye l’idée qu’un sous-espace combinant plusieurs coordonnées peut mieux convenir que leur sélection individuelle.
- La qualité avec la moitié de l’état
Sur WikiText-2, un test de prédiction de texte où la perplexité mesure la difficulté des prédictions, BASS avec HARP a augmenté la perplexité de 0.3 point en moyenne sur cinq checkpoints, avec la moitié de l’état conservée, contre 1.6 point pour GHOST.
Dans une comparaison distincte sur Mamba2-130M, au même rang moyen, le seuil minimal de récupération de HARP a amélioré à la fois la perplexité et la précision sur le dernier mot par rapport à une répartition uniforme de BASS, pour les évaluations rapportées.
- Choix de la base et limites
Un contrôle sur Mamba2-130M, avec 25 % de l’état conservée, a comparé BASS à une base orthogonale aléatoire de même rang.
BASS a augmenté la perplexité sur WikiText-2 de 25.4 %, tandis que l’essai avec la base aléatoire a divergé. Dans le modèle et au niveau de conservation testés, ce résultat étaye l’interprétation selon laquelle le choix de la base compte au-delà du nombre de modes conservés. D’autres familles de tâches et types de modèles n’ont pas été évalués.
Détails
- Auteurs de l’article original
- Shang Tingyu, Cao Wenfei
- Soumis à arXiv
- Licence
- arXiv non-exclusive