FR
REX déplace les connaissances dangereuses vers des experts amovibles
Towards Architectural-Level Safety Control: Relocating Hazardous Knowledge into Removable Experts in Mixture-of-Experts Models · arXiv:2610.25791
En termes simples
Certains modèles de langage rangent des connaissances utiles et dangereuses dans les mêmes parties ; en retirer une peut donc affecter l’autre. REX, une méthode conçue pour les modèles à mélange d’experts, déplace les connaissances dangereuses vers des parties supplémentaires qui peuvent être retirées.
Les chercheurs ont testé trois modèles en biosécurité et en cybersécurité. Après la même procédure d’entraînement supplémentaire, le modèle diffusé par REX a obtenu les scores les plus faibles au test de connaissances dangereuses parmi les méthodes utilisables, dans les six contextes testés.
La recherche
Un modèle préentraîné peut-il perdre des capacités dangereuses sans perdre ses capacités générales, et cette séparation peut-elle tenir lorsque le modèle est entraîné davantage ?
Les méthodes existantes modifient des paramètres qui contribuent aux deux types de connaissances, tandis qu’un entraînement ultérieur peut rétablir ce qu’elles avaient supprimé.
REX déplace les connaissances dangereuses vers des experts amovibles, puis entraîne le modèle recombiné afin que ces experts puissent être retirés au moment de sa mise à disposition.
Les chercheurs ont comparé des modèles par paires avant l’entraînement supplémentaire : chaque paire ne différait que par la présence ou l’absence des experts ajoutés. Au test WMDP, qui comporte quatre choix et mesure la part des réponses correctes sur des connaissances dangereuses, le retrait des experts a réduit l’exactitude de 9,5 à 48,4 points dans six contextes. Dans l’ensemble, les scores des capacités générales ont peu varié.
Après un entraînement commun de 250 millions de jetons, REX affichait l’exactitude à WMDP la plus faible parmi les méthodes utilisables de désapprentissage dans les six contextes testés. Les méthodes partageaient les données, leur ordre et la graine aléatoire, mais leurs points de contrôle de départ et leurs procédures préalables différaient.
Ces résultats étayent donc REX dans le cadre de la comparaison et de l’entraînement testés, sans établir un avantage universel.
Les résultats portent sur trois modèles à mélange d’experts, la biosécurité et la cybersécurité, ainsi qu’une seule procédure d’entraînement supplémentaire commune de 250 millions de jetons.
Ils ne permettent pas d’établir les performances de REX sur d’autres architectures, dans d’autres domaines dangereux ou avec d’autres procédures d’entraînement supplémentaire.
Ce que montrent les preuves
- Le problème de la séparation
REX (Relocating into Removable Experts) est une méthode qui déplace les connaissances dangereuses d’un modèle à mélange d’experts préentraîné vers des experts ajoutés, qui peuvent être retirés. Le problème vient du fait que les connaissances dangereuses et générales partagent des paramètres.
Modifier ces paramètres peut nuire aux capacités générales, tandis qu’un entraînement standard ultérieur peut faire réapparaître des connaissances dangereuses. REX cherche à déterminer si la structure du modèle permet de séparer ces deux types de connaissances.
- Déplacer, puis retirer
REX repère les experts davantage utilisés par les données de domaines dangereux que par les données générales, les copie dans des experts ajoutés, puis entraîne les deux groupes différemment.
Les mises à jour dues aux données dangereuses vont aux experts ajoutés ; les données générales entraînent les experts d’origine sans sélectionner les experts ajoutés. Des pertes de routage renforcent cette séparation. Comme certaines connaissances dangereuses restent dans les paramètres d’origine ou partagés, REX nettoie aussi le modèle conservé après le retrait des experts ajoutés.
- Effet du retrait des experts
Les chercheurs ont testé trois modèles à mélange d’experts en biosécurité et en cybersécurité. Ils ont mesuré les connaissances dangereuses avec WMDP, un test à quatre choix où l’exactitude correspond à la part des réponses correctes et une exactitude plus faible indique moins de connaissances dangereuses.
Dans les comparaisons par paires des modèles de base, le retrait des experts ajoutés a réduit l’exactitude à WMDP de 9,5 à 48,4 points de pourcentage dans six combinaisons de modèles et de domaines. Dans l’ensemble, les scores des capacités générales ont peu varié, avec une variation médiane de 0,6 point sur 48 comparaisons à deux étapes.
- Après l’entraînement supplémentaire
Les chercheurs ont ensuite comparé REX aux méthodes utilisables de désapprentissage au niveau des paramètres après la même procédure d’entraînement standard de 250 millions de jetons. REX affichait l’exactitude à WMDP la plus faible dans les six contextes testés. Les méthodes partageaient les données, leur ordre et la graine aléatoire, mais partaient de points de contrôle différents et avaient suivi des procédures préalables différentes. Ce résultat concerne donc cette comparaison et cet entraînement précis.
- Ce qu’étayent les contrôles
Les contrôles aident à comprendre pourquoi le résultat persiste. En biosécurité, l’entraînement direct du modèle excisé a produit une exactitude à WMDP supérieure de 9,6 à 20,2 points à celle de l’entraînement du modèle complet recombiné, suivi du retrait des experts ajoutés au moment de la mise à disposition ; les deux méthodes partaient du même modèle.
Un autre contrôle limité au nettoyage a aussi obtenu un score supérieur au déplacement suivi du nettoyage. Cette comparaison porte toutefois sur l’ensemble du processus préalable de déplacement et d’excision, et non sur l’excision seule.
Détails
- Auteurs de l’article original
- Cheng Jin, Zhongtian Ma, Xiao Wang, Han Qi, Xiaoyu Wen
- Soumis à arXiv
- Licence
- CC BY 4.0