ES
La compresión de Mamba-2 conserva direcciones útiles del estado que actúan en conjunto
Balanced State Subspaces for Mamba-2 State Compression · arXiv:2610.36617
En palabras sencillas
Los modelos de lenguaje Mamba-2 guardan información en un estado interno cambiante mientras leen texto. Los métodos de compresión anteriores eligen partes individuales de ese estado, pero este artículo plantea que la información útil puede depender de cómo varias partes trabajan juntas.
El método BASS encuentra y conserva un conjunto más pequeño de direcciones en las que se escribe y de las que se lee. En cinco checkpoints de Mamba-2, al reducir el estado a la mitad, provocó un aumento promedio menor de la perplejidad en WikiText-2 que el compresor GHOST; los resultados variaron según el checkpoint.
La investigación
Un estado recurrente solo puede hacerse más pequeño si conserva la información que sigue influyendo en las salidas del modelo.
El artículo pregunta si elegir coordenadas individuales del estado pasa por alto combinaciones útiles, y si un modelo comprimido puede conservar la calidad de predicción y recuperación de información del lenguaje al retener direcciones que trabajan juntas.
BASS comprime los estados de Mamba-2 ya entrenados al conservar direcciones que se escriben y se leen conjuntamente, mientras HARP las distribuye entre las capas.
El artículo pregunta si es posible comprimir los estados de Mamba-2 ya entrenados sin descartar información útil que depende de varias coordenadas del estado a la vez.
BASS selecciona un subespacio según la intensidad con que se escribe y se lee en sus direcciones, mientras HARP distribuye los modos conservados entre las capas.
En cinco checkpoints, al conservar la mitad del estado, BASS con HARP tuvo un aumento promedio menor de la perplejidad en WikiText-2 que GHOST.
En una prueba de rango promedio equivalente con Mamba2-130M, el límite mínimo de recuperación de HARP también mejoró la perplejidad y la precisión al predecir la última palabra en LAMBADA respecto de la asignación uniforme, lo que sugiere que la distribución entre capas influye en ambas medidas.
Los resultados abarcan los checkpoints de Mamba-2 y las evaluaciones de modelado del lenguaje probados. El artículo no evalúa la generalización a secuencias más largas, tareas fuera de distribución o de cero ejemplos, modelos de visión ni modelos híbridos.
Qué muestran las pruebas
- La pregunta sobre la compresión
BASS es un método posterior al entrenamiento que comprime el estado recurrente de modelos Mamba-2 ya entrenados. El artículo pregunta si la compresión puede conservar cómo interactúan las direcciones del estado, ya que los métodos basados en coordenadas puntúan canales individuales incluso cuando usan información de salida.
Los autores sostienen que esas puntuaciones pasan por alto la estructura conjunta de escritura y lectura, que determina cómo el estado influye en las salidas.
- Conservar direcciones conjuntas del estado
BASS estima con qué intensidad las entradas escriben en las direcciones del estado y cuánto se lee cada dirección en las salidas. Combina ambas mediciones para seleccionar un subespacio más pequeño que puede mezclar las coordenadas originales.
La transformación de rango completo conserva exactamente la recurrencia; conservar menos modos la aproxima. Después, HARP distribuye los modos conservados entre las capas según sus espectros y su sensibilidad a la recuperación.
- Comparación estructural
Un diagnóstico comparó selecciones de rango 32 en Mamba2-130M. Entre las capas, el subespacio balanceado conservó una mediana del 96.6% de la energía empírica de Hankel, frente al 70.0% de la ordenación por coordenadas con las diagonales marginales más altas.
Esto mide cuánto se conserva la estructura conjunta de escritura y lectura, no la calidad del modelo de lenguaje. Aporta evidencia de por qué un subespacio que combina coordenadas podría ser más adecuado que elegirlas una por una.
- Calidad al conservar la mitad
En WikiText-2, una prueba de predicción de texto donde la perplejidad mide la dificultad de las predicciones, BASS con HARP aumentó la perplejidad una media de 0.3 puntos en cinco checkpoints al conservar la mitad del estado, frente a 1.6 puntos con GHOST.
En una comparación aparte con Mamba2-130M y el mismo rango promedio, el límite mínimo de recuperación de HARP mejoró tanto la perplejidad como la precisión al predecir la última palabra respecto de la asignación uniforme de BASS en las evaluaciones reportadas.
- La elección de la base y sus límites
Un control con Mamba2-130M y una conservación del 25% comparó BASS con una base ortogonal aleatoria del mismo rango. BASS elevó la perplejidad de WikiText-2 un 25.4%, mientras que la ejecución con la base aleatoria divergió.
Esto respalda la interpretación de que la elección de la base importa más allá del número de modos conservados, en el modelo y nivel de conservación probados. Quedan sin evaluar otras familias de tareas y tipos de modelo.
Detalles
- Autores del paper original
- Shang Tingyu, Cao Wenfei
- Enviado a arXiv
- Licencia
- arXiv non-exclusive