Un signal visuel commun aide à repérer quand un modèle apprend le style d’une collection

Si un modèle apprend le style visuel d’une collection d’images sans en reproduire les images, comment son propriétaire peut-il trouver des indices que le modèle l’a utilisée ? Les recherches d’images d’entraînement copiées peuvent passer à côté de ce type d’apprentissage.

La question est donc de savoir si un signal commun peut être détecté dans les images générées par la suite.

SpectralCanary ajoute aux images un signal commun à basse fréquence avant leur diffusion, puis utilise un vérificateur pour le rechercher dans les images générées par un modèle.

Les chercheurs vérifient si le signal reste détectable lorsque les données d’entraînement ou la famille de modèles change. Sur Pokemon, ils comparent huit configurations couvrant deux familles de modèles, chaque méthode utilisant sa propre procédure de protection et de notation.

Au seuil qui signale à tort au maximum 1 % des images générées par des modèles propres, SpectralCanary détecte en moyenne 91,1 % des images produites par des modèles entraînés sur des données protégées, contre 73,2 % pour EnTruth.

Cette moyenne étaye la détection dans les configurations testées, même si aucune méthode n’arrive en tête dans chacune d’elles.

L’audit fournit des éléments statistiques dans les conditions testées, mais ne prouve pas qu’une collection a été utilisée. L’évaluation porte sur deux familles de modèles, cinq jeux de données, un canari principal et trois attaques de suppression ; elle ne démontre pas que la méthode se transfère à tous les modèles ni aux mélanges contenant davantage de données non protégées.