ES
Los modelos binarios pueden entrenarse con pequeños búferes de actualización
Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State · arXiv:2610.34566
En palabras sencillas
Los modelos con pesos binarios guardan cada peso con uno de dos signos, pero el método habitual de entrenamiento también conserva una copia de precisión completa y registros del optimizador para cada peso. Ese estado adicional puede ser mucho mayor que los pesos binarios del modelo.
Error Diffusion es un optimizador que guarda en un búfer las pequeñas actualizaciones pendientes hasta que bastan para cambiar el signo de un peso. En la prueba de la red sintética del artículo, un búfer de 4 bits se acercó a la precisión del método habitual y usó mucho menos estado de entrenamiento por peso.
Las pruebas con modelos de lenguaje también encontraron pérdidas similares en algunas configuraciones.
La investigación
Los modelos binarios almacenan sus pesos de forma compacta, pero el método habitual de entrenamiento conserva mucho más estado por peso que el modelo desplegado. ¿Puede un modelo binario seguir aprendiendo sin reconstruir esa gran copia de entrenamiento?
El artículo evalúa un optimizador diseñado para conservar solo pequeñas partes de las actualizaciones aún no realizadas.
Error Diffusion sustituye las copias de entrenamiento de precisión completa por pequeños búferes de actualización y evalúa si los modelos binarios pueden aprender con ese estado menor.
El artículo compara Error Diffusion con el método habitual de pesos latentes, que conserva una copia de precisión completa y los momentos del optimizador para cada peso binario.
En un MLP sintético de anchura 192, el búfer de 4 bits de ED obtuvo una precisión media de prueba de 56.4% en cinco semillas, cerca del 57.5% de la referencia, con 5 en vez de 97 bits de estado por peso.
Después, las pruebas con modelos de lenguaje encontraron que ED se acercaba a la referencia latente en varias configuraciones. Con un límite por paso para las actualizaciones, la pérdida de validación del búfer de 8 bits quedó entre 2.3% por debajo y 2.9% por encima de la referencia en seis combinaciones probadas de tamaño de modelo y corpus; la serie de 4 bits tuvo brechas mayores y algunas ejecuciones de wikitext-103 divergieron.
Sin el límite, una ejecución grande con un modelo tokenizado mostró una brecha de pérdida mayor. Esto respalda el método con las recetas probadas, incluida la condición del límite.
Estos resultados abarcan un MLP sintético y pruebas de validación de modelos de lenguaje, con núcleos binarios de hasta 19 millones de parámetros. La comparación de Shakespeare con más pasos y algunas comparaciones con modelos tokenizados usan una sola ejecución; el estudio no evalúa tareas posteriores ni la eficiencia medida por tiempo de ejecución.
Qué muestran las pruebas
- Reducir la copia de entrenamiento
Error Diffusion (ED) es un optimizador para entrenar redes neuronales con pesos binarios. La receta habitual guarda, junto a cada peso de un bit, un peso latente de precisión completa y dos momentos del optimizador: en total, 97 bits de estado persistente de entrenamiento por peso.
ED plantea si el entrenamiento puede conservar las actualizaciones aún no realizadas en un estado menor y seguir aprendiendo pesos útiles.
- Comparar precisión y estado
En un perceptrón multicapa (MLP) sintético de profesor y estudiante, la precisión de prueba mide con qué frecuencia el estudiante clasifica correctamente ejemplos reservados. Con anchura 192, ED con un búfer de 4 bits obtuvo una media de 56.4% en cinco semillas, cerca del 57.5% de la referencia latente; sus estados por peso fueron de 5 y 97 bits.
La evidencia se limita a esta prueba sintética, pero muestra que allí el estado menor puede acercarse a la referencia.
- Comprobar por qué importa la cuadrícula
La posición de la cuadrícula del búfer importó en ese mismo MLP. Con un búfer de 4 bits, alinearla con el umbral que cambia el signo del peso elevó la precisión media de prueba de 53.2% a 56.4% en cinco semillas.
Una prueba aparte de dithered Bop, que cambia los pesos cuando un promedio del gradiente cruza un umbral, también mejoró al alinear su cuadrícula de pocos bits. Estas comparaciones respaldan la posición del umbral como regla de diseño útil en los casos probados.
- Evaluar ejecuciones prolongadas de modelos de lenguaje
En Shakespeare a nivel de caracteres, ED con un búfer de 8 bits se mantuvo dentro del criterio de pérdida del 20% del artículo frente al entrenamiento latente en las tres anchuras después de 2,000 pasos; a los 50,000 pasos, una ejecución con anchura 256 tuvo una pérdida de validación 1.7% mayor.
En seis combinaciones de modelos más grandes y corpus, ED con un búfer de 8 bits y actualizaciones por paso limitadas a 0.25 unidades de inversión quedó entre 2.3% por debajo y 2.9% por encima de la referencia. La serie de 4 bits, por separado, tuvo brechas mayores y algunas ejecuciones de wikitext-103 divergieron.
La condición del límite importa: sin él, una ejecución grande de wikitext-103 tuvo una pérdida 10.2% mayor.
- Probar el entrenamiento continuado
Por último, los autores adaptaron un modelo binario desplegado a bytes de Shakespeare. Después de 5,000 pasos, la pérdida media de validación de ED en tres semillas fue cercana a la del entrenamiento continuado con pesos latentes, que tuvo que reconstruir todo su estado de entrenamiento.
Una ejecución aparte en CPU, con una sola semilla, se mantuvo por debajo del límite declarado de 275 MB de memoria adicional. Estas demostraciones describen lo ocurrido en las configuraciones probadas; dejan abiertas las preguntas sobre otras tareas y la eficiencia.
Detalles
- Autores del paper original
- Pierre-Olivier Bonin
- Enviado a arXiv
- Licencia
- arXiv non-exclusive