El entrenamiento puede reducir los pesos más vulnerables a inversiones de bits
LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks · arXiv:2610.28872
En palabras sencillas
Cuando se invierte un bit, algunos pesos almacenados de una red neuronal importan mucho más que otros. El artículo presenta LEAN, un método de entrenamiento que modifica esa desigualdad al reducir la sensibilidad de los pesos más vulnerables y el tamaño del cambio que produce una inversión en cada capa.
En nueve combinaciones probadas de modelos de visión y conjuntos de datos, LEAN redujo entre 5 y 13 veces la cantidad de pesos muy sensibles, mientras que la exactitud con datos limpios cambió como máximo medio punto porcentual. Estos resultados describen los modelos y las ejecuciones de entrenamiento probados.
La investigación
Cuando se invierte un bit almacenado, el daño depende del peso que cambia: un grupo pequeño puede importar mucho más que el resto.
¿Puede el entrenamiento reducir esa concentración para que un atacante tenga menos pesos especialmente dañinos a los que dirigirse y la protección selectiva tenga menos que cubrir, mientras conserva la exactitud habitual del modelo?
LEAN modifica durante el entrenamiento la sensibilidad de los pesos almacenados y reduce el grupo muy sensible en los modelos de visión probados; en una prueba con ResNet-18 sobre CIFAR-10, las inversiones reales de bits causaron menos daño medido.
LEAN añade una penalización de rango y otra dirigida a los pesos más sensibles mientras se sigue entrenando un modelo. Los investigadores compararon puntos de control de referencia con modelos entrenados durante diez épocas más y midieron la sensibilidad en lotes reservados, usando umbrales fijados a partir de cada modelo de referencia.
En nueve configuraciones de visión, el grupo de sensibilidad ALTA se redujo y la exactitud con datos limpios cambió poco.
Para comprobar si la puntuación reflejaba daño real, los investigadores invirtieron bits de signo almacenados en un modelo ResNet-18 sobre CIFAR-10 y midieron el aumento de la pérdida. Este disminuyó para los pesos más dañinos con ambos términos de LEAN.
Con un código de protección del 1%, el modelo LEAN también resistió más inversiones progresivas que su modelo de referencia en la prueba informada.
Estos resultados proceden principalmente de modelos de visión y de procedimientos específicos para invertir bits. Las pruebas del código suponen que el intercalado evita que se acumulen demasiados errores en una misma palabra de código, y el código no se simuló.
La mayoría de los resultados informados corresponden a una ejecución de entrenamiento y una de ataque.
Qué muestran las pruebas
- El daño se concentra en pocos pesos
LEAN es un método de entrenamiento que modifica cuánto importan los pesos almacenados cuando se invierten sus bits. La pregunta es si el entrenamiento puede reducir la concentración del daño en un grupo pequeño de pesos, ya que los ataques adaptativos pueden dirigirse a ese grupo y los sistemas de protección selectiva deben cubrirlo.
En el ejemplo del artículo con ResNet-18 sobre CIFAR-10, el 1% de los pesos más sensibles representó alrededor del 20% del daño total de primer orden causado por las inversiones del bit de signo.
- Dos componentes del cambio de entrenamiento
El método penaliza dos factores que contribuyen al daño por inversiones: el gradiente de un peso y el cambio que produce una inversión en el formato de almacenamiento. El término de rango limita el rango INT8 de cada capa y reduce ese cambio; el término de cola penaliza la sensibilidad media del 1% de los pesos que más daño causan. Un coeficiente determina la intensidad de la penalización combinada.
- Se reduce el grupo más sensible
Los investigadores compararon cada modelo de referencia con una versión LEAN entrenada durante diez épocas adicionales a partir del punto de control de referencia. En nueve configuraciones de ResNet y VGG sobre CIFAR-10, CIFAR-100 e ImageNet, LEAN redujo entre 5 y 13 veces la cantidad de pesos por encima de un umbral fijado con el modelo de referencia.
La exactitud con datos limpios cambió como máximo 0,5 puntos porcentuales, y la proporción del daño total de primer orden correspondiente al 1% más sensible bajó en todas las configuraciones.
- Las inversiones reales ponen a prueba la medida
Una puntuación por sí sola no demuestra que las inversiones reales causen menos daño, así que los investigadores probaron inversiones reales del bit de signo en INT8 en ResNet-18 sobre CIFAR-10. El aumento medio de la pérdida entre los 100 pesos más dañinos bajó de 0.031 en el modelo de referencia a 0.009 con los dos términos de LEAN.
En este contexto, el término de rango hizo la mayor parte del trabajo; el término de cola añadió una reducción, mientras que por sí solo podía bajar la puntuación sin reducir el daño real.
- La protección mejora en los casos probados
Con un código corrector de errores del 1%, ResNet-18 de referencia sobre CIFAR-10 cayó por debajo del 90% de exactitud tras 200 inversiones de Progressive bit search. LEAN mantuvo el 94% hasta las 300 inversiones en las tres semillas y hasta las 500 en dos de las tres.
Otra prueba encontró que LEAN necesitó menos bits de paridad del código que el modelo de referencia para cumplir una garantía de protección especificada.
Detalles
- Autores del paper original
- Habibur Rahaman, Swarup Bhunia
- Enviado a arXiv
- Licencia
- CC BY 4.0