ES
Las Skills revisadas aún pueden combinarse y causar infracciones de políticas
CoSA: The Conflict of Skills Attack in Real-World LLM Agent Ecosystems · arXiv:2610.35082
En palabras sencillas
Un agente puede usar Skills, paquetes que le proporcionan instrucciones u operaciones para una tarea. Aunque cada Skill supere por separado una comprobación de seguridad, la información o las decisiones que pasan de una Skill a otra aún pueden contribuir a una infracción de políticas.
El artículo presenta CoSA, un método que añade un conjunto limitado de Skills revisadas y diseñadas para interactuar con las existentes. En tareas fijas, las infracciones fueron más frecuentes con estas adiciones que con los conjuntos originales de Skills, al promediar los modelos y las configuraciones de agente evaluados.
La investigación
Si cada Skill supera por separado las comprobaciones de seguridad de su paquete, ¿puede un flujo de trabajo infringir aun así la política de su tarea cuando una Skill pasa información o decisiones a otra?
El artículo pregunta si esa reutilización entre Skills puede contribuir a infracciones concretas y si adiciones seleccionadas cuidadosamente pueden hacer visible ese riesgo cuando los agentes eligen las Skills de forma autónoma.
CoSA construye un conjunto limitado de Skills revisadas para exponer interacciones de riesgo; las ejecuciones emparejadas muestran tasas de infracción evaluadas más altas con los conjuntos ampliados.
CoSA añade un número limitado de Skills que superan las comprobaciones de seguridad del paquete, pero se seleccionan para interactuar con operaciones de un conjunto existente.
Para comprobar si esas adiciones cambian los resultados cuando los agentes eligen las Skills, los autores compararon los conjuntos originales y ampliados con las mismas solicitudes y estados iniciales fijos.
En 4.320 ejecuciones de tareas por condición, un evaluador basado en un modelo de lenguaje detectó infracciones concretas de políticas en el 35,02 % de las ejecuciones con los conjuntos originales y en el 58,45 % con las adiciones de CoSA.
Este aumento agregado respalda que las adiciones elevaron las infracciones en la cuadrícula evaluada; no mide la probabilidad de fallo al repetir una sola tarea.
El resultado principal es un agregado de tareas fijas, cinco modelos y tres entornos de agente; cada tarea se ejecutó una vez por condición. No muestra con qué frecuencia los agentes elegirían estas adiciones en entornos reales cambiantes, y el resultado de CoSA-Guard en OpenClaw abarca únicamente tareas de selección de personal.
Qué muestran las pruebas
- Hasta dónde llegan las comprobaciones individuales
Conflict of Skills Attack (CoSA) es un método para construir adiciones limitadas al conjunto de Skills de un agente. Aborda una carencia concreta: las comprobaciones de seguridad del paquete evalúan cada Skill por separado, pero una tarea puede implicar que una Skill pase información o una decisión a otra.
El artículo solo cuenta un conflicto cuando la evidencia vincula la reutilización entre al menos dos Skills admitidas con una infracción concreta de políticas; una secuencia de Skills por sí sola no basta.
- Patrones en las interacciones entre Skills
Para identificar patrones que sirvieran para construir adiciones, los autores realizaron primero ejecuciones controladas con Skills de uso real y controles equivalentes de una sola Skill. Informan de cuatro mecanismos recurrentes: puede perderse el contexto de seguridad, las interfaces pueden conectarse por su significado, las señales de evaluación pueden parecer autoritativas y puede haber desajustes entre objetivos y acciones.
Estos patrones orientan la construcción de candidatas de CoSA, pero detectarlos no establece por sí solo con qué frecuencia aparecen cuando los agentes seleccionan Skills de forma autónoma.
- De los patrones a las adiciones
CoSA propone adiciones que aportan una operación empresarial ausente o modifican cómo las operaciones existentes intercambian información, reutilizan decisiones o vinculan acciones con objetivos. Comprueba las operaciones y los traspasos de las candidatas frente a contratos documentados, exige que superen las comprobaciones de seguridad del paquete y selecciona un conjunto limitado para cubrir oportunidades validadas.
En una prueba diagnóstica aparte, las composiciones seleccionadas de varias Skills produjeron infracciones en 41 de 60 solicitudes, frente a 5 de 60 en los controles equivalentes de una sola Skill; ambas condiciones completaron 55 tareas.
- Prueba de la selección autónoma de Skills
La evaluación principal usó CoSA-Bench, un conjunto de 288 tareas empresariales fijas en cuatro ámbitos y tres categorías de riesgo para las políticas. Cinco modelos de lenguaje y tres entornos de agente ejecutaron cada tarea una vez con el conjunto original y otra con el conjunto ampliado, mientras elegían de forma autónoma las Skills y su orden.
Un evaluador basado en un modelo de lenguaje solo contabilizó una infracción cuando el registro de ejecución mostraba un efecto concreto prohibido. En toda esta cuadrícula de evaluación, la tasa de infracciones evaluada subió del 35,02 % al 58,45 %.
- Controles y una protección
Los controles de OpenClaw ayudan a acotar qué explica el aumento: las adiciones benignas aleatorias tuvieron una tasa de infracciones del 26,39 %, la selección aleatoria entre las candidatas revisadas de CoSA tuvo un 43,40 % y CoSA completo un 54,24 %.
Estos controles sugieren que ni el tamaño del conjunto ni la selección aleatoria por sí solos reproducen el resultado completo, aunque cada referencia aleatoria usó una sola muestra. En otra evaluación, limitada a tareas de selección de personal, CoSA-Guard, una comprobación integrada en el entorno del agente, redujo las infracciones, pero algunas persistieron.
Detalles
- Autores del paper original
- Yujia Zheng, Tianhao Li, Shangzhi Xu, Yuekai Huang, Ziyou Jiang
- Enviado a arXiv
- Licencia
- CC BY 4.0