ES
REX traslada conocimientos peligrosos a expertos eliminables
Towards Architectural-Level Safety Control: Relocating Hazardous Knowledge into Removable Experts in Mixture-of-Experts Models · arXiv:2610.25791
En palabras sencillas
Algunos modelos de lenguaje guardan conocimientos útiles y peligrosos en las mismas partes, así que quitar una parte puede afectar a ambos. REX, un método para modelos de mezcla de expertos, traslada los conocimientos peligrosos a partes adicionales que pueden eliminarse.
Los investigadores probaron tres modelos en bioseguridad y ciberseguridad. Después del mismo procedimiento de entrenamiento adicional, el modelo distribuido de REX obtuvo las puntuaciones más bajas en la prueba de conocimientos peligrosos entre los métodos utilizables en las seis combinaciones probadas.
La investigación
¿Puede un modelo preentrenado perder capacidades peligrosas sin perder capacidades generales, y puede mantenerse esa separación cuando el modelo recibe más entrenamiento?
Los métodos existentes modifican parámetros que respaldan ambos tipos de conocimiento, mientras que el entrenamiento posterior puede restaurar lo que esos métodos habían suprimido.
REX traslada los conocimientos peligrosos a expertos que pueden eliminarse y luego entrena el modelo recombinado para poder quitarlos al distribuirlo.
Los investigadores compararon modelos emparejados antes del entrenamiento adicional: cada par solo difería en si incluía o no los expertos añadidos. En WMDP, una prueba de cuatro opciones sobre conocimientos peligrosos cuya puntuación es la proporción de respuestas correctas, eliminar los expertos redujo la precisión entre 9.5 y 48.4 puntos en seis combinaciones. En conjunto, las puntuaciones de capacidad general cambiaron poco.
Tras una ejecución compartida de entrenamiento de 250 millones de tokens, REX obtuvo la precisión más baja en WMDP entre los métodos utilizables de desaprendizaje en las seis combinaciones. Las rutas compartieron los datos, el orden y la semilla, pero partieron de puntos de control distintos y tenían procedimientos previos diferentes. Por tanto, esto respalda a REX en la comparación probada, no una ventaja universal.
La evidencia abarca tres modelos de mezcla de expertos, los ámbitos de bioseguridad y ciberseguridad, y un mismo procedimiento de entrenamiento de 250 millones de tokens.
No establece cómo funciona REX con otras arquitecturas de modelos, otros ámbitos peligrosos o procedimientos de entrenamiento adicional.
Qué muestran las pruebas
- El problema de la separación
REX (Relocating into Removable Experts) es un método para trasladar conocimientos peligrosos de un modelo de mezcla de expertos preentrenado a expertos añadidos que pueden eliminarse. El problema de fondo es que los conocimientos peligrosos y generales comparten parámetros.
Modificar esos parámetros puede perjudicar la capacidad general, mientras que el entrenamiento estándar posterior puede hacer reaparecer los conocimientos peligrosos. REX plantea si es posible separar ambos tipos de conocimiento en la estructura del modelo.
- Trasladar y luego eliminar
REX identifica los expertos que usan relativamente más los datos de ámbitos peligrosos que los datos generales, los copia a expertos añadidos y entrena ambos grupos de forma distinta. Las actualizaciones basadas en datos peligrosos se aplican a los expertos añadidos; los datos generales entrenan a los expertos originales sin seleccionar los añadidos.
Las pérdidas de enrutamiento refuerzan esa separación. Como parte de los conocimientos peligrosos permanece en los parámetros originales o compartidos, REX también limpia el modelo que se conserva después de eliminar los expertos añadidos.
- Qué cambia al eliminar expertos
Los investigadores probaron tres modelos de mezcla de expertos en bioseguridad y ciberseguridad. Midieron los conocimientos peligrosos con WMDP, una prueba de cuatro opciones en la que la precisión es la proporción de respuestas correctas y una precisión menor indica menos conocimientos peligrosos.
En las comparaciones emparejadas de los modelos base, eliminar los expertos añadidos redujo la precisión en WMDP entre 9.5 y 48.4 puntos porcentuales en seis combinaciones de modelo y ámbito. En conjunto, las puntuaciones de capacidad general cambiaron poco: el cambio mediano fue de 0.6 puntos en 48 comparaciones realizadas en dos etapas.
- Después del entrenamiento adicional
Después, los investigadores compararon REX con métodos utilizables de desaprendizaje a nivel de parámetros tras el mismo procedimiento de entrenamiento estándar de 250 millones de tokens. REX obtuvo la precisión más baja en WMDP en las seis combinaciones.
Las rutas compartieron los datos, el orden y la semilla de entrenamiento, pero partieron de puntos de control distintos y tuvieron procedimientos previos diferentes. Por eso, el resultado se aplica a esta comparación y a esta ejecución de entrenamiento.
- Qué respaldan los controles
Los controles ayudan a interpretar por qué se mantiene el resultado. En bioseguridad, entrenar directamente el modelo sin los expertos añadidos produjo una precisión en WMDP entre 9.6 y 20.2 puntos mayor que entrenar el modelo completo recombinado y eliminar los expertos añadidos al distribuirlo; ambas rutas partieron del mismo modelo.
Un control separado, que solo aplicó limpieza, también obtuvo una puntuación mayor que el traslado seguido de limpieza. Sin embargo, esa comparación refleja el proceso previo de traslado y extracción en conjunto, no la extracción por sí sola.
Detalles
- Autores del paper original
- Cheng Jin, Zhongtian Ma, Xiao Wang, Han Qi, Xiaoyu Wen
- Enviado a arXiv
- Licencia
- CC BY 4.0