Cambios mínimos en imágenes pueden redirigir el entrenamiento por preferencias

¿Puede redirigirse el entrenamiento por preferencias mediante ejemplos que a un revisor humano le siguen pareciendo correctamente etiquetados?

El artículo investiga si un atacante puede alterar las respuestas aprendidas de un modelo de visión y lenguaje modificando únicamente las imágenes de entrenamiento aportadas, sin tocar los prompts, las respuestas ni las anotaciones de preferencia.

DPOison-VL modifica únicamente las imágenes de entrenamiento aportadas, usando construcción y selección guiadas por gradientes para redirigir el aprendizaje por preferencias en modelos de visión y lenguaje.

Los investigadores comprobaron si este ataque podía cambiar las respuestas de un modelo ante imágenes excluidas del proceso de construcción. Entrenaron cuatro modelos de visión y lenguaje en tres tareas de identificación errónea y luego emplearon un juez basado en modelo de lenguaje para evaluar las respuestas generadas sobre imágenes de prueba reservadas.

Para Qwen3-VL-2B en una tarea con semáforos, el color incorrecto solicitado apareció en el 98,0 % de las imágenes de prueba reservadas con un 2 % de datos de preferencia envenenados, promediado en tres ejecuciones.

Esto muestra que cambios exclusivamente en las imágenes pueden desviar las respuestas en el escenario probado mientras las etiquetas de preferencia aportadas permanecen correctas.

Los experimentos abarcan cuatro modelos de visión y lenguaje, tres tareas de identificación errónea y entrenamiento DPO estándar.

El resultado teórico depende de supuestos de suavidad y de dinámica de descenso de gradiente, por lo que ni los experimentos ni el teorema establecen el mismo efecto para otros métodos de entrenamiento o configuraciones.