Una señal compartida ayuda a revelar cuándo los modelos aprenden el estilo de una colección

Si un modelo aprende el estilo visual de una colección de imágenes sin reproducir sus imágenes, ¿cómo puede su propietario encontrar indicios de que el modelo la utilizó?

Buscar imágenes de entrenamiento copiadas puede pasar por alto ese tipo de aprendizaje; la pregunta es si una señal compartida puede detectarse en imágenes generadas posteriormente.

SpectralCanary añade una señal compartida de baja frecuencia a las imágenes antes de publicarlas y luego usa un verificador para buscarla en las imágenes generadas por un modelo.

Los investigadores prueban si la señal sigue siendo detectable cuando cambia la familia del modelo o se modifican los datos de entrenamiento. En Pokemon, comparan ocho configuraciones de dos familias de modelos; cada método usa su propio procedimiento de protección y puntuación.

Con un umbral que marca por error como máximo el 1% de las imágenes generadas por modelos limpios, SpectralCanary detecta, en promedio, el 91.1% de las imágenes generadas por modelos entrenados con datos protegidos, frente al 73.2% de EnTruth.

Este promedio respalda la detección en las configuraciones probadas, aunque ningún método es el mejor en todas.

La auditoría aporta evidencia estadística en las condiciones probadas, pero no demuestra que una colección se haya utilizado. La evaluación abarca dos familias de modelos, cinco conjuntos de datos, una imagen de prueba fija (canario) del estudio principal y tres ataques de eliminación; no demuestra que el método se transfiera a todos los modelos ni a mezclas con conjuntos de datos sin proteger de mayor tamaño.