Entrenar barreras en varios formatos mejora los juicios de seguridad
En palabras sencillas
Una barrera de seguridad puede juzgar correctamente una instrucción o respuesta y, aun así, tener dificultades cuando la misma situación de seguridad se presenta como una conversación o como un registro de un agente que usa herramientas.
Además, su nivel de confianza puede volverse poco fiable cuando cambia el formato. UniGuard entrena una barrera con varias versiones de cada caso de seguridad, para que reconozca el caso en distintos formatos y ajuste mejor su confianza a su precisión. En tres pruebas con formatos nuevos de agentes o reglas, el modelo entrenado mejoró tanto la clasificación como la fiabilidad de la confianza frente a su modelo base preentrenado.
La investigación
Una barrera puede funcionar con instrucciones o respuestas y tener dificultades cuando el mismo caso de seguridad aparece en una conversación, en el registro de uso de herramientas de un agente o bajo una regla cambiante.
¿Puede el entrenamiento con varios formatos del mismo caso ayudarla a mantener fiables tanto sus juicios de seguridad como su confianza?
UniGuard entrena una barrera con formatos alineados del mismo caso de seguridad para mejorar sus juicios y su confianza cuando cambia la interfaz.
¿Puede una barrera mantener juicios de seguridad fiables cuando el mismo caso se presenta en otro formato o bajo una regla de seguridad cambiante?
UniGuard aborda esta pregunta entrenando con varias vistas alineadas de cada caso y usando la coincidencia entre ellas para orientar tanto la clasificación como la confianza.
En tres pruebas con formatos nuevos de registros de actividad de agentes y reglas especificadas externamente, UniGuard-0.6B mejoró la calidad media de clasificación binaria y la fiabilidad de la confianza frente a su barrera base preentrenada. Los resultados respaldan el enfoque para estos cambios de interfaz evaluados.
Los resultados abarcan tres cambios de interfaz estudiados, no nuevos ámbitos de seguridad, herramientas, políticas ni fallos de agentes. UniGuard-FT usa vistas generadas a partir de 1,000 casos base, que quizá no reflejen la variedad de los sistemas reales.
Análisis
Detalles
- Autores del paper original
- Viet-Thanh Pham, Thuy-Trang Vu, Junae Kim, Rollin Omari, Dinh Phung
- Enviado a arXiv
- Licencia
- CC BY 4.0