Certifier la robustesse quand le routage du modèle change

Un certificat de robustesse est censé indiquer qu’une prédiction tiendra malgré les modifications autorisées du texte.

Mais dans un modèle à mélange d’experts, ces modifications peuvent changer les experts utilisés. La question est donc concrète : un certificat décrit-il encore le calcul du modèle quand son routage change ?

CertMoE certifie à la fois quels experts les entrées perturbées peuvent utiliser et si les prédictions restent stables dans cet ensemble certifié.

Un certificat de robustesse n’est utile que s’il couvre le calcul réellement effectué par le modèle. Dans les modèles de langage à mélange d’experts, une entrée modifiée peut sélectionner d’autres experts.

Un outil de certification peut-il tenir compte de ces changements de routage tout en vérifiant la stabilité des prédictions ?

CertMoE certifie d’abord que les entrées perturbées restent dans un ensemble plus vaste d’experts, puis certifie la stabilité des prédictions d’un modèle limité à cet ensemble.

Sur le test de classification de sentiments d’un modèle, son ajout à RanMASK a fait passer de 32.98% à 6.25% la part des entrées certifiées pour lesquelles une attaque trouvait un changement de prédiction. Cela étaye des certificats plus sélectifs dans ce contexte, mais les attaques n’ont exploré qu’une partie de chaque région certifiée.

Ces résultats d’attaque proviennent de recherches menées dans une partie seulement de chaque région certifiée ; ils ne prouvent pas de façon exhaustive que tous les certificats tiennent ou échouent.

L’évaluation porte sur la classification de texte avec trois modèles MoE représentatifs ; les autres architectures et les tâches de génération n’ont pas été testées.