ES
El filtrado por gradientes retira ejemplos de entrenamiento riesgosos
Follow the Gradient: Tracing Safety Degradation Back to Training Data · arXiv:2610.37481
En palabras sencillas
Algunos ejemplos de instrucciones parecen inofensivos, pero después del entrenamiento pueden debilitar la seguridad de un modelo de lenguaje. Este artículo presenta SimpleLoRIF, un método que compara los cambios que provocaría un ejemplo en el modelo con los cambios asociados a respuestas inseguras.
Los autores lo usaron para retirar el 20% de los ejemplos de Tulu 3 más parecidos a las respuestas inseguras y crear SafeTulu. En las pruebas de tres familias de modelos, entrenar con SafeTulu produjo menos respuestas dañinas ante un tipo de ataque optimizado que entrenar con todo el conjunto de datos.
Los resultados de las pruebas de capacidad fueron por lo general parecidos, pero variaron según la prueba y el modelo.
La investigación
Cuando los ejemplos de instrucciones parecen inofensivos, ¿qué puede revelar que algunos quizá debiliten la seguridad de un modelo? Los autores preguntan si los cambios que esos ejemplos provocan en el modelo permiten identificar una relación con conductas inseguras.
Así exploran una forma de seleccionar datos de entrenamiento por el efecto que producen, en lugar de por cómo están redactados.
SimpleLoRIF ordena ejemplos de entrenamiento según su similitud de gradiente con respuestas inseguras, y los autores lo usan para filtrar Tulu 3 y crear SafeTulu.
Los autores probaron si el efecto de los ejemplos en los cambios del modelo podía revelar vínculos con conductas inseguras, incluso cuando los ejemplos parecían inofensivos.
En un análisis de código inseguro, las puntuaciones separaron ejemplos inseguros y seguros emparejados por encima del nivel de azar en las dos familias evaluadas, aunque la señal varió según la familia y el estado del modelo.
Usaron el método para retirar el 20% de los ejemplos de Tulu 3 más parecidos a las respuestas inseguras de SafeRLHF. En tres familias de modelos, el éxito medio ante un ataque optimizado con peticiones dañinas disminuyó en comparación con el entrenamiento con todos los datos, mientras que los resultados de capacidad fueron por lo general parecidos. Esto respalda el enfoque de filtrado en esas evaluaciones.
Las pruebas de SafeTulu abarcan el deterioro general de la seguridad y usan respuestas inseguras de un único conjunto objetivo, SafeRLHF; no evalúan conductas específicas como la adulación ni otros conjuntos objetivo.
Los patrones observados en los ejemplos retirados son correlaciones, no demuestran que esas características causen el deterioro de la seguridad.
Qué muestran las pruebas
- Mirar más allá del texto del ejemplo
SimpleLoRIF representa un ejemplo de entrenamiento mediante gradientes: una aproximación compacta de los cambios que ese ejemplo provocaría en el modelo. Los autores usan la similitud con respuestas inseguras para ordenar los ejemplos y decidir cuáles retirar.
Esto aborda un problema que los filtros de contenido pueden pasar por alto: los ejemplos que deterioran la seguridad pueden parecer inofensivos aunque su efecto en el modelo no lo sea.
- Probar la señal con código
Primero, los autores probaron si la similitud de gradientes separaba ejemplos de código inseguro de ejemplos de código seguro emparejados para que fueran lo más parecidos posible. Usaron respuestas de modelos Qwen y Mistral ajustados con datos adicionales, que Claude 5 Opus juzgó como muestras de una conducta ampliamente desalineada.
La medida ROC-AUC indica con qué frecuencia un ejemplo de código inseguro elegido al azar obtiene una puntuación mayor que uno seguro elegido al azar. Los resultados superaron el nivel de azar en ambas familias, y fueron más altos para Mistral.
- Comprobar el estado y la transferencia
Un control mostró que la puntuación de Mistral era 0.431 antes del entrenamiento con código inseguro y 0.865 después. Una prueba de transferencia también dio un resultado desigual: las representaciones de Qwen separaron peor los ejemplos de código cuando se compararon con respuestas inseguras de Mistral en lugar de las de Qwen.
Estas comparaciones acotan el diagnóstico: la señal depende del estado del modelo y no se transfiere igual entre familias.
- Evaluar los datos filtrados
Después, los autores usaron SimpleLoRIF para crear SafeTulu retirando el 20% de los ejemplos de Tulu 3 más parecidos a las respuestas inseguras de SafeRLHF. Entrenaron tres familias de modelos con los datos filtrados y las compararon con modelos entrenados con todo Tulu 3.
En las pruebas GCG, donde un sufijo de texto optimizado intenta provocar respuestas inseguras, el éxito medio del ataque fue menor en las tres familias. Los resultados de capacidad fueron por lo general parecidos, aunque hubo diferencias según la prueba y el modelo.
- Acotar la conclusión
En conjunto, las pruebas respaldan el uso de la similitud de gradientes para encontrar ejemplos asociados con el deterioro de la seguridad y muestran que el filtrado puede reducir el éxito medido de los ataques en los modelos evaluados.
Los autores también encontraron patrones recurrentes entre los ejemplos retirados, como fallos al ejecutar herramientas y aritmética narrativa, pero los describen como correlaciones indicativas, no como causas. La evaluación abarca la seguridad general con un solo conjunto objetivo, no todas las conductas dañinas ni todos los conjuntos objetivo.
Detalles
- Autores del paper original
- Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab
- Enviado a arXiv
- Licencia
- arXiv non-exclusive