ReplaySSM reduce el tráfico del estado recurrente al decodificar modelos de lenguaje

Cuando las capas de espacio de estados de un modelo escriben un estado recurrente grande después de cada token, ¿se pueden reducir esas escrituras sin cambiar las salidas? La pregunta importa porque esas actualizaciones pueden representar una parte importante de la latencia de decodificación, incluso en modelos híbridos cuyo costo de atención crece con el contexto. El artículo prueba otra forma de representar y actualizar ese estado.

ReplaySSM almacena entradas recientes junto a un punto de control y calcula salidas entre actualizaciones periódicas del estado para reducir el tráfico de memoria y facilitar la reversión.

El artículo pregunta si las capas de espacio de estados deben escribir todo su estado acumulado después de cada token, aunque cada actualización requiera poco trabajo.

ReplaySSM almacena entradas recientes junto a un punto de control y lo actualiza periódicamente; busca reducir esas escrituras y conservar las mismas salidas.

En cuatro modelos híbridos con un tamaño de lote de 256, el paso de decodificación del modelo completo fue entre 1,20 y 1,47 veces más rápido que con la decodificación convencional de vLLM ajustada.

Esto respalda el valor de cambiar la gestión del estado en esas pruebas; otros experimentos también muestran por qué conviene evitar que las lecturas de baja precisión intervengan en las actualizaciones recurrentes.

Estos resultados proceden de cuatro modelos híbridos, cada uno probado en una GPU y sin paralelismo de tensores; los experimentos de baja precisión usaron cuantización emulada. Las mediciones no establecen que el rendimiento o la precisión sean iguales en otros entornos.