IT
La compressione di Mamba-2 conserva direzioni utili dello stato
Balanced State Subspaces for Mamba-2 State Compression · arXiv:2610.36617
In parole semplici
I modelli linguistici Mamba-2 conservano le informazioni in uno stato interno che cambia mentre leggono il testo. I metodi di compressione precedenti selezionano singole parti di quello stato, ma questo paper sostiene che le informazioni utili possono dipendere dal modo in cui più parti lavorano insieme.
Il metodo BASS individua e conserva un insieme più piccolo di direzioni sia scritte sia lette. Su cinque checkpoint Mamba-2, mantenendo metà dello stato, ha causato un aumento medio della perplexity su WikiText-2 inferiore a quello del compressore GHOST; i risultati variavano da un checkpoint all’altro.
La ricerca
Uno stato ricorrente può essere più piccolo solo se conserva le informazioni che continuano a influenzare le uscite del modello.
Il paper chiede se la selezione di singole coordinate trascuri combinazioni utili e se un modello compresso possa conservare la qualità di previsione linguistica e retrieval mantenendo direzioni che lavorano insieme.
BASS comprime gli stati dei modelli Mamba-2 addestrati conservando le direzioni congiuntamente scritte e lette; HARP le distribuisce tra i livelli.
Il paper chiede se sia possibile comprimere gli stati di Mamba-2 già addestrati senza scartare informazioni utili che dipendono da più coordinate dello stato insieme.
BASS seleziona un sottospazio in base a quanto le direzioni vengono scritte e lette, mentre HARP distribuisce i modi conservati tra i livelli.
Su cinque checkpoint, mantenendo metà dello stato, BASS con HARP ha avuto un aumento medio della perplexity su WikiText-2 inferiore a GHOST.
In un test a rango medio uguale su Mamba2-130M, il limite minimo di retrieval di HARP ha migliorato anche la perplexity e l’accuratezza nella previsione dell’ultima parola su LAMBADA rispetto all’allocazione uniforme, suggerendo che la distribuzione tra i livelli influisce su entrambe le misure.
I risultati riguardano i checkpoint Mamba-2 e le valutazioni di modellazione linguistica testati. Il paper non esamina la generalizzazione a sequenze più lunghe, attività fuori distribuzione o zero-shot, modelli di visione né modelli ibridi.
Cosa mostrano le prove
- La domanda sulla compressione
BASS è un metodo post-training che comprime lo stato ricorrente nei modelli Mamba-2 già addestrati. Il paper chiede se la compressione possa conservare il modo in cui le direzioni dello stato interagiscono, dato che i metodi basati sulle coordinate assegnano punteggi ai singoli canali, anche quando usano informazioni sulle uscite.
Secondo gli autori, questi punteggi trascurano la struttura congiunta di scrittura e lettura, che determina come lo stato influenza le uscite.
- Conservare le direzioni congiunte
BASS stima quanto gli input scrivano nelle direzioni dello stato e quanto queste direzioni vengano lette nelle uscite. Usa entrambe le misure per selezionare un sottospazio più piccolo, che può combinare le coordinate native.
La trasformazione a rango pieno conserva esattamente la ricorrenza; mantenere meno modi la approssima. HARP distribuisce poi i modi conservati tra i livelli in base ai loro spettri e alla sensibilità al retrieval.
- Un confronto strutturale
Una diagnosi ha confrontato selezioni di rango 32 in Mamba2-130M. Considerando i livelli, il sottospazio bilanciato ha conservato una mediana del 96.6% della Hankel energy empirica, contro il 70.0% dell’ordinamento delle coordinate basato sulla diagonale marginale più forte.
Questa misura riguarda la conservazione della struttura congiunta di scrittura e lettura, non la qualità del modello linguistico. Fornisce un’indicazione del motivo per cui un sottospazio che combina coordinate può essere più adatto della selezione delle singole coordinate.
- Qualità mantenendo metà dello stato
Su WikiText-2, un test di previsione del testo in cui la perplexity misura la difficoltà delle previsioni, BASS con HARP ha aumentato la perplexity in media di 0.3 punti sui cinque checkpoint, mantenendo metà dello stato, contro 1.6 punti per GHOST.
In un confronto separato su Mamba2-130M a parità di rango medio, il limite minimo di retrieval di HARP ha migliorato sia la perplexity sia l’accuratezza nella previsione dell’ultima parola rispetto all’allocazione uniforme di BASS, nelle valutazioni riportate.
- La scelta della base e i suoi limiti
Un controllo su Mamba2-130M, mantenendo il 25% dello stato, ha confrontato BASS con una base ortogonale casuale a parità di rango. BASS ha aumentato la perplexity su WikiText-2 del 25.4%, mentre l’esecuzione con la base casuale è andata in divergenza.
Questo sostiene l’interpretazione che, nelle condizioni testate, la scelta della base conti oltre al numero di modi conservati. Altre famiglie di attività e altri tipi di modello non sono stati testati.
Dettagli
- Autori del paper originale
- Shang Tingyu, Cao Wenfei
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive