Cómo evaden los registros dañinos los selectores de datos
En palabras sencillas
Los selectores de datos de entrenamiento eligen una cantidad fija de registros que consideran útiles. Este artículo estudia si un proveedor externo puede adaptar registros dañinos para que obtengan una buena puntuación y sigan afectando al modelo después del entrenamiento.
El ataque de los autores genera y puntúa registros candidatos, y luego envía el mejor puntuado que conserva el contenido dañino. En una prueba de rechazo excesivo con IFD, un selector basado en la dificultad, los registros adaptados quedaron más concentrados en el conjunto seleccionado y aumentó la tasa de rechazo reportada. El resultado se limita a las condiciones de esa prueba.
La investigación
Cuando quien desarrolla un modelo selecciona una cantidad fija de registros de entrenamiento, ¿puede un proveedor hacer que los registros dañinos parezcan lo bastante útiles para superar el filtro e influir en el modelo entrenado?
El proveedor no puede cambiar el selector ni ver el conjunto seleccionado final, así que la pregunta es si adaptar los propios registros puede cambiar cuáles pasan.
Los autores presentan un ataque adaptativo que adapta registros dañinos para superar la selección de datos y una defensa de dos partes que audita proveedores y combina clasificaciones de selectores.
Los autores evalúan si un proveedor puede hacer que registros dañinos superen un selector que conserva solo los registros con mayor puntuación. El proveedor genera candidatos con la carga útil, los puntúa y envía el mejor puntuado que la conserva.
En una prueba emparejada de rechazo excesivo con IFD, un selector basado en la dificultad, la adaptación elevó el enriquecimiento del envenenamiento de 1.21x a 6.07x y la tasa de rechazo reportada de 0% a 94%. Esto muestra concentración y un cambio de comportamiento en ese caso probado; un control separado de selección aleatoria también indica que, en las condiciones de LESS, la concentración dependía de la selección.
Las evaluaciones cubren pares concretos de selector y carga útil, así como configuraciones específicas de modelos. El certificado de CONCERT limita qué registros se pueden seleccionar; no garantiza un conjunto libre de envenenamiento ni acota el daño posterior.
Los resultados de código se auditaron en checkpoints existentes, no después de volver a entrenarlos con un conjunto reducido.
Análisis
Detalles
- Autores del paper original
- Yahao Ren, Jian Lou, Huadi Zheng, Jiawei Duan
- Enviado a arXiv
- Licencia
- arXiv non-exclusive