Auditorías revelan riesgos en el control de acceso manual
En palabras sencillas
Los sistemas de control de acceso con aprendizaje automático usan software para ayudar a decidir qué solicitudes se conceden. Este artículo audita dos elementos construidos manualmente que pueden influir en esas decisiones: las cláusulas que hacen que un escudo de confianza deniegue solicitudes y las reglas que determinan cuáles se envían a un sistema de aprendizaje.
Los autores comprobaron las cláusulas de denegación frente a todas las solicitudes de cinco políticas públicas. En las dos políticas con restricciones explícitas, muchas cláusulas redactadas por un autor y por tres sistemas de lenguaje habrían denegado solicitudes que las políticas sí conceden.
El artículo también encontró que los métodos probados para elegir reglas de enrutamiento solían conservar reglas de una sola clase, lo que impide la división prevista.
La investigación
Cuando los sistemas de control de acceso con aprendizaje automático combinan una política basada en reglas con un sistema de aprendizaje, ¿qué valida las cláusulas escritas a mano que provocan denegaciones directas y el mapa que determina qué solicitudes recibe cada componente?
Un escudo correcto y un sistema de aprendizaje evaluado no responden a esa pregunta, porque ninguno de los dos comprueba esos elementos.
El artículo audita cláusulas de denegación y reglas de enrutamiento para mostrar cómo los elementos escritos a mano pueden representar mal qué solicitudes rechaza o evalúa un sistema de control de acceso con aprendizaje automático.
Los autores compararon las cláusulas candidatas de denegación con el conjunto completo de solicitudes que cada política concede, en lugar de basarse en una muestra. En dos políticas con restricciones explícitas, muchas cláusulas del autor y de tres sistemas independientes de lenguaje habrían denegado solicitudes concedidas.
El rastreo de los contraejemplos mostró que la mayoría provenía de otras reglas, lo que concuerda con que las restricciones descritas en texto sean más estrechas que la política completa.
En cuanto al enrutamiento, los métodos probados de selección cap-and-rank solían conservar solo un tipo de regla. Los autores también compararon el enrutamiento mediante reglas con un sistema de aprendizaje usando dos tasas de error.
En E-Document, las reglas que tienen en cuenta la clase favorecieron ambas medidas frente a un sistema de aprendizaje equilibrado por clase con el umbral predeterminado, y con ruido de 0.15 en las etiquetas de entrenamiento.
Sin embargo, ajustar el umbral cambió la comparación de permisos falsos; en Workforce, las dos tasas de error se movieron en direcciones opuestas.
Las tasas de cláusulas de denegación se calcularon con cinco políticas públicas, solo dos de ellas con restricciones explícitas, y con un autor y tres sistemas de lenguaje que generaron cláusulas.
Los resultados del enrutamiento también dependen de la política y de la configuración del sistema de aprendizaje: ajustar el umbral cambió el veredicto en E-Document, y el resultado no se repitió en Workforce.
Análisis
Detalles
- Autores del paper original
- Arsalan Jalil Sarghaleh, Mehdi Hazrati
- Enviado a arXiv
- Licencia
- arXiv non-exclusive