ES
Una prueba basada solo en texto rastrea el entrenamiento con marcas de agua en modelos estudiantes
Watermark Basins: Black-Box Detection of Distilled LLMs · arXiv:2610.37266
En palabras sencillas
Un modelo de lenguaje puede entrenarse con las respuestas de otro modelo. Si esas respuestas llevan una marca de agua oculta, pueden quedar rastros en el modelo estudiante, pero las comprobaciones de texto existentes pueden pasarla por alto cuando dependen de patrones de palabras repetidos.
WM-Basin compara las respuestas del modelo sospechoso y del profesor con marca de agua, usando un modelo limpio para detectar y eliminar patrones compartidos. En una prueba de razonamiento matemático, detectó más modelos destilados que la comprobación de texto existente; el resultado se limita a los modelos y condiciones evaluados.
La investigación
Si un modelo se entrena con respuestas de un profesor que llevan marca de agua, ¿puede un verificador detectar esa conexión con solo consultar al modelo?
Las comprobaciones de texto existentes dependen de que los tokens favorecidos por la marca de agua aparezcan en contextos repetidos, y el artículo informa que esa señal se debilita con ventanas de contexto más amplias y con muestreo a temperaturas más bajas.
WM-Basin detecta la influencia de un profesor con marca de agua al comparar gradientes de un modelo de sondeo obtenidos del texto del modelo sospechoso y del profesor, tras eliminar patrones compartidos por modelos limpios.
El verificador consulta al modelo sospechoso con instrucciones de prueba y al profesor con marca de agua con instrucciones distintas para construir la referencia.
Un modelo de sondeo limpio y fijo convierte ambos conjuntos de respuestas en gradientes; el método elimina los patrones compartidos por modelos limpios y clasifica la clave declarada frente a claves señuelo.
En la destilación para razonamiento matemático a partir de un profesor con marca de agua, detectó el 45% de 1,200 modelos reunidos de 24 arquitecturas de estudiantes, con una tasa nominal de falsos positivos del 0.1% y una ventana de tres tokens; el detector de tokens encontró el 1.3%. Esto respalda una detección más sólida en ese conjunto evaluado.
WM-Basin analiza texto del dominio que se está auditando. Una puntuación baja en otro dominio no demuestra que un modelo esté limpio.
Además, el entrenamiento adicional con datos limpios puede debilitar la señal en sus respuestas, aunque una prueba de acceso a los pesos todavía la encuentre entre los parámetros del modelo.
Qué muestran las pruebas
- Un método de detección basado solo en texto
Watermark Basin Alignment (WM-Basin) es un método de caja negra para detectar si un modelo de lenguaje sospechoso se destiló a partir de texto de un profesor con marca de agua. Usa respuestas obtenidas a través de la API del modelo sospechoso, de modo que el verificador no necesita acceder a sus pesos ni a sus puntuaciones internas.
La pregunta es si puede encontrar un rastro de la marca de agua del profesor cuando pierden señal las comprobaciones de tokens que dependen de contextos repetidos.
- Separar la tarea de la marca de agua
Los autores examinaron primero la señal en los pesos del modelo. Compararon estudiantes entrenados con el mismo modelo base, profesor, instrucciones y procedimiento, pero con trazas del profesor con marca de agua o limpias.
Tomaron el cambio en los pesos del estudiante limpio como dirección de la tarea y observaron que la evidencia de detección caía hasta el límite inferior del detector tras avanzar unos pocos pasos en la dirección de la marca de agua, pero persistía tras avanzar mucho más en la dirección de la tarea.
Esto sugiere que la señal de la marca de agua es más estrecha que el aprendizaje habitual de la tarea.
- Comparación de los dos detectores
WM-Basin representa las respuestas del modelo sospechoso y las respuestas del profesor asociadas a claves mediante gradientes de un mismo modelo de sondeo limpio y fijo. Elimina las direcciones compartidas por modelos limpios y luego compara la alineación restante de la clave declarada con la de claves señuelo.
En una evaluación de razonamiento matemático que reunió 1,200 modelos de 24 arquitecturas de estudiantes, detectó el 45% con una ventana de tres tokens y una tasa nominal de falsos positivos del 0.1%; el detector de tokens detectó el 1.3%. El resultado es un agregado de ese conjunto evaluado.
- Una condición de muestreo más exigente
La comparación con temperaturas bajas probó hasta 100 estudiantes Qwen2.5-3B por condición, destilados del mismo profesor con distintas temperaturas de muestreo. Con temperatura 0.5, el banco de referencia se mantuvo en temperatura 1.0; con una ventana de tres tokens y una tasa de falsos positivos del 1%, WM-Basin identificó aproximadamente a la mitad de los estudiantes, mientras que el detector de tokens no identificó ninguno.
El resultado muestra que WM-Basin conservó evidencia en esta condición de desajuste, pero no que vaya a hacerlo en todas las configuraciones.
- Hasta dónde llega la evidencia
Las auditorías de matemáticas, código y conversación mostraron que la detección dependía del dominio de destilación: una puntuación baja en otro dominio no demostraba que el modelo estuviera limpio. Los autores también observaron que el entrenamiento adicional con datos limpios podía debilitar la señal de la marca de agua en las respuestas generadas, incluso cuando un detector con acceso a los pesos todavía la encontraba entre los parámetros. Estos resultados delimitan lo que puede establecer una auditoría de texto.
Detalles
- Autores del paper original
- Hongyan Chang, Hady Elsahar, Tom Sander, Pierre Fernandez, Saeed Mahloujifar
- Enviado a arXiv
- Licencia
- CC BY 4.0