FR
Un test fondé sur le texte repère l’entraînement avec filigrane dans les modèles étudiants
Watermark Basins: Black-Box Detection of Distilled LLMs · arXiv:2610.37266
En termes simples
Un modèle de langage peut être entraîné à partir des réponses d’un autre modèle. Si ces réponses contiennent un filigrane caché, il peut en rester des traces dans le modèle étudiant.
Les vérifications de texte existantes peuvent toutefois passer à côté lorsque leur détection dépend de répétitions de mots. WM-Basin compare les réponses du modèle suspect à celles du modèle enseignant marqué, en s’aidant d’un modèle propre pour repérer les motifs communs à retirer.
Dans un test de raisonnement mathématique, la méthode a détecté davantage de modèles entraînés par distillation que la vérification de texte existante. Ce résultat vaut pour les modèles et les conditions testés.
La recherche
Lorsqu’un modèle est entraîné à partir des réponses marquées d’un modèle enseignant, un vérificateur peut-il détecter ce lien en interrogeant simplement le modèle ? Les vérifications de texte existantes s’appuient sur la présence de tokens favorisés par le filigrane dans des contextes récurrents.
Selon l’article, ce signal s’affaiblit lorsque les fenêtres de contexte s’élargissent ou que l’échantillonnage se fait à basse température.
WM-Basin détecte l’influence d’un modèle enseignant marqué en comparant les gradients d’un modèle sonde calculés à partir du texte du modèle suspect et de celui du modèle enseignant, après retrait des motifs communs aux modèles propres.
Le vérificateur interroge le modèle suspect avec des invites de test et le modèle enseignant marqué avec des invites distinctes pour préparer les références.
Un modèle sonde propre et fixe transforme les deux ensembles de réponses en gradients ; la méthode retire les motifs communs aux modèles propres, puis classe la clé revendiquée par rapport aux clés leurres.
Pour des modèles entraînés par distillation au raisonnement mathématique à partir d’un même modèle enseignant marqué, WM-Basin a détecté 45 % des 1 200 modèles regroupés sur 24 architectures étudiantes, avec un taux de faux positifs nominal de 0,1 % et une fenêtre de trois tokens ; le détecteur de tokens en a détecté 1,3 %. Ces résultats étayent une meilleure détection dans ce groupe testé.
WM-Basin teste du texte issu du domaine examiné. Un score faible dans un autre domaine ne montre pas qu’un modèle est sans filigrane.
De plus, un entraînement supplémentaire sur des données propres peut atténuer le signal dans les réponses du modèle, même si un test qui inspecte ses paramètres le détecte encore.
Ce que montrent les preuves
- Une détection fondée sur le texte
Watermark Basin Alignment (WM-Basin) est une méthode en boîte noire qui détecte si un modèle de langage suspect a été entraîné par distillation à partir du texte marqué d’un modèle enseignant. Elle utilise les réponses obtenues via l’API du modèle suspect : le vérificateur n’a donc pas besoin de ses paramètres ni de ses scores internes.
La méthode cherche à savoir si une trace du filigrane du modèle enseignant reste détectable lorsque les vérifications de tokens, fondées sur des contextes répétés, perdent leur signal.
- Distinguer la tâche du filigrane
Les auteurs ont d’abord examiné le signal dans les paramètres des modèles. Ils ont comparé des modèles étudiants entraînés avec le même modèle de base, le même modèle enseignant, les mêmes invites et la même méthode, à partir de traces du modèle enseignant avec ou sans filigrane.
En prenant la mise à jour du modèle étudiant propre comme direction correspondant à la tâche, ils ont constaté que les indices de détection tombaient au niveau minimal du détecteur après seulement quelques étapes dans la direction du filigrane, mais persistaient après des déplacements bien plus importants dans la direction de la tâche. Cela suggère que le signal du filigrane est plus étroit que l’apprentissage ordinaire de la tâche.
- Comparer les deux détecteurs
WM-Basin représente les réponses du modèle suspect et celles du modèle enseignant associées à une clé sous forme de gradients calculés par un seul modèle sonde propre et fixe. La méthode retire les directions partagées par les modèles propres, puis compare l’alignement restant pour la clé revendiquée à celui des clés leurres.
Dans une évaluation du raisonnement mathématique regroupant 1 200 modèles répartis sur 24 architectures étudiantes, WM-Basin en a détecté 45 % avec une fenêtre de trois tokens et un taux de faux positifs nominal de 0,1 % ; le détecteur de tokens en a détecté 1,3 %. Il s’agit d’un résultat agrégé pour ce groupe testé.
- Une condition d’échantillonnage plus difficile
La comparaison à basse température a testé jusqu’à 100 modèles Qwen2.5-3B étudiants par condition, entraînés par distillation à partir du même modèle enseignant avec différentes températures d’échantillonnage. À la température de 0,5, la banque de références restait à 1,0.
Avec une fenêtre de trois tokens et un taux de faux positifs de 1 %, WM-Basin a signalé environ la moitié des modèles, tandis que le détecteur de tokens n’en a signalé aucun. Le résultat montre que WM-Basin a conservé des indices dans cette condition où les températures différaient ; il ne garantit pas le même résultat pour tous les réglages.
- Où s’arrêtent les indices
Les audits portant sur les mathématiques, le code et les conversations ont montré que la détection dépendait du domaine utilisé pour la distillation : un score faible dans un autre domaine ne suffisait pas à établir qu’un modèle était propre.
Les auteurs ont également constaté qu’un entraînement supplémentaire sur des données propres pouvait atténuer le signal du filigrane dans les réponses générées, même si un détecteur ayant accès aux paramètres le trouvait encore. Ces résultats délimitent ce qu’un audit du seul texte peut établir.
Détails
- Auteurs de l’article original
- Hongyan Chang, Hady Elsahar, Tom Sander, Pierre Fernandez, Saeed Mahloujifar
- Soumis à arXiv
- Licence
- CC BY 4.0