ES
Compartir umbrales de redondeo acelera el entrenamiento si se corrigen los errores
Efficient Quantization Training with Stochastic Rounding via Structured Subspace Randomness · arXiv:2610.36587
![Overview of INT8 (S8) quantization training with S3R and its structured error correction S3R-EC. On the VPU, S3R broadcasts a compact seed 𝐮t∈[0,1]B×S×1, one threshold per token, to 𝐑t=Φ(𝐮t) inside…](https://arxiv.org/html/2610.36587v1/INT8_quant_flow.svg)
En palabras sencillas
Al entrenar con 8 bits, redondear valores de gradiente al azar puede conservar las actualizaciones pequeñas, pero generar un número aleatorio para cada valor puede ralentizar un acelerador. Structured Subspace Stochastic Rounding (S3R) reutiliza un umbral aleatorio para los valores de cada token.
Su método de corrección elimina la parte compartida del error de redondeo. En un entrenamiento de un modelo de lenguaje de 12 capas, S3R corregido terminó con una pérdida de validación cercana a la del redondeo independiente, aunque tres ejecuciones no bastaron para resolver la pequeña diferencia.
La investigación
El entrenamiento de baja precisión puede reducir el cálculo, pero generar un umbral aleatorio independiente para cada valor de gradiente puede resultar costoso en los aceleradores.
No está claro si compartir umbrales puede reducir ese coste y conservar la calidad que ofrece el redondeo independiente.
Structured Subspace Stochastic Rounding (S3R) comparte umbrales aleatorios para reducir el trabajo de redondeo; S3R-EC corrige el error compartido.
S3R reduce el trabajo de generación de números aleatorios al compartir umbrales entre valores de gradiente, pero ese uso compartido correlaciona sus errores de redondeo. Los autores lo combinan con S3R-EC, que resta de los gradientes el error estructurado conocido antes de la optimización.
En un entrenamiento de C4 con un modelo de 12 capas, la pérdida de validación final media de S3R-EC con dos umbrales compartidos fue de 4,919, cercana a 4,929 con redondeo independiente; tres semillas no permitieron resolver esa diferencia.
Las mediciones de pasos completos también encontraron que S3R-EC fue más rápido que BF16 y que el redondeo independiente en tres modelos densos evaluados en TPU v5p.
La comparación de calidad abarca un único entrenamiento de C4 con un modelo de 12 capas y tres semillas por configuración. Los autores indican que esta comparación puede detectar diferencias de alrededor de 0,05 unidades de pérdida de validación o mayores, por lo que no permite determinar si S3R corregido y el redondeo independiente difieren en una cantidad menor.
Qué muestran las pruebas
- El coste del redondeo aleatorio
Structured Subspace Stochastic Rounding (S3R) reduce el coste de generar números aleatorios al redondear gradientes durante el entrenamiento de transformers con baja precisión. El redondeo estocástico independiente usa un umbral aleatorio distinto para cada valor de gradiente.
En aceleradores donde la generación de números aleatorios se ejecuta en unidades vectoriales, ese trabajo puede ralentizar el entrenamiento aunque las operaciones matriciales aprovechen hardware especializado más rápido.
- Cómo se comparten los umbrales
S3R cuantiza una sola vez el gradiente entrante para los dos productos matriciales de la pasada hacia atrás y comparte un umbral aleatorio entre los valores de la dimensión oculta de cada token. Cada valor sigue siendo insesgado, pero los valores que comparten umbral pueden tener errores de redondeo correlacionados.
El método reduce los sorteos aleatorios a cambio de sustituir errores independientes por una estructura compartida.
- Dónde añade error compartir umbrales
El análisis de los autores sitúa el error añadido en el gradiente de activación, que se transmite a las capas anteriores.
Con el umbral compartido por token, el análisis muestra que el error del gradiente de pesos conserva la varianza del redondeo independiente, mientras que las correlaciones entre errores de canales añaden varianza al gradiente de activación. Esto explica por qué corregir solo el gradiente de pesos dejaría intacto el error que llega a la capa anterior.
- La corrección recupera una calidad cercana
En un modelo de estilo Llama de 12 capas entrenado con C4 en inglés durante 2.000 pasos, S3R por token sin corregir obtuvo una pérdida de validación final media de 5,055 con tres semillas, frente a 4,929 con redondeo independiente.
S3R-EC con dos umbrales compartidos promedió 4,919. Los investigadores usaron la mejor tasa de aprendizaje de cada configuración, elegida con la semilla 0, y mantuvieron el mismo modelo, los mismos datos, los mismos pasos y el optimizador AdamW.
- Velocidad en los pasos completos evaluados
En las mediciones de pasos completos en TPU v5p, S3R-EC con dos umbrales compartidos fue entre 1,24 y 1,32 veces más rápido que BF16, y alrededor de 1,11 veces más rápido que el redondeo independiente, en tres modelos densos evaluados.
Las cifras usan tiempos medianos de 20 pasos tras 12 pasos de calentamiento. En conjunto, los resultados de calidad y velocidad respaldan el método en las cargas de trabajo evaluadas, aunque la comparación de calidad está limitada por la resolución de tres semillas.
Detalles
- Autores del paper original
- Zeyu Wang, Yiheng Duan, Tao Chen, Donghyun Koo, Sihan Liu
- Enviado a arXiv
- Licencia
- CC BY 4.0