IT
Skill verificate possono combinarsi e violare le regole
CoSA: The Conflict of Skills Attack in Real-World LLM Agent Ecosystems · arXiv:2610.35082
In parole semplici
Un agente può usare le Skill, pacchetti che gli danno istruzioni o operazioni per svolgere un’attività. Anche se ciascuna Skill supera da sola un controllo di sicurezza, il passaggio di informazioni o decisioni da una Skill all’altra può comunque contribuire a una violazione delle regole.
Il paper presenta CoSA, un metodo che aggiunge un insieme limitato di Skill verificate e progettate per interagire con quelle già presenti. Nelle attività fisse valutate, le violazioni sono state più frequenti con queste aggiunte che con gli insiemi originali, considerando insieme i modelli e le configurazioni di agenti testati.
La ricerca
Se ogni Skill supera i controlli di sicurezza del proprio pacchetto, un workflow può comunque violare le regole dell’attività quando una Skill passa informazioni o decisioni a un’altra?
Il paper esamina se questo riutilizzo tra Skill possa contribuire a violazioni concrete e se aggiunte selezionate con cura possano mettere in evidenza il rischio quando gli agenti scelgono autonomamente le Skill.
CoSA costruisce un insieme limitato di Skill verificate per mettere in luce interazioni rischiose; confronti appaiati tra attività mostrano tassi di violazione valutati più alti con gli insiemi arricchiti.
CoSA aggiunge un numero limitato di Skill che superano i controlli di sicurezza a livello di pacchetto e che vengono selezionate per interagire con operazioni già presenti nell’insieme.
Per verificare se queste aggiunte cambiano gli esiti quando gli agenti scelgono autonomamente le Skill, gli autori hanno confrontato gli insiemi originali e quelli arricchiti usando le stesse richieste fisse e gli stessi stati iniziali.
Su 4,320 esecuzioni per condizione, un modello linguistico usato come valutatore ha rilevato violazioni concrete delle regole nel 35.02% delle esecuzioni con gli insiemi originali e nel 58.45% di quelle con le aggiunte CoSA.
Questo aumento aggregato supporta l’affermazione che le aggiunte abbiano aumentato le violazioni nell’insieme di condizioni testate; non misura la probabilità di errore in esecuzioni ripetute di una singola attività.
Il risultato principale aggrega attività fisse, cinque modelli e tre configurazioni di agenti; ogni attività è stata eseguita una volta per condizione.
Non indica quanto spesso gli agenti sceglierebbero queste aggiunte in contesti reali in evoluzione, e il risultato sul controllo CoSA-Guard in OpenClaw riguarda solo attività di selezione del personale.
Cosa mostrano le prove
- Dove si fermano i controlli individuali
Conflict of Skills Attack (CoSA) è un metodo per costruire aggiunte limitate all’insieme di Skill di un agente. Affronta una lacuna specifica: i controlli a livello di pacchetto valutano le Skill singolarmente, ma un’attività può prevedere che una Skill passi informazioni o una decisione a un’altra.
Il paper considera un conflitto accertato solo quando le evidenze collegano il riutilizzo tra almeno due Skill ammesse a una violazione concreta delle regole; una sequenza di Skill, da sola, non basta.
- Schemi nelle interazioni tra Skill
Per individuare schemi utili a costruire le aggiunte, gli autori hanno prima eseguito test controllati con Skill del mondo reale e controlli abbinati che usavano una sola Skill. Riportano quattro meccanismi ricorrenti: il contesto di sicurezza può andare perso, le interfacce possono collegarsi attraverso il significato, i segnali di valutazione possono sembrare autorevoli e i collegamenti tra obiettivi e azioni possono disallinearsi.
Questi schemi guidano la costruzione delle candidate di CoSA, ma la loro individuazione non stabilisce da sola quanto spesso si presentino quando gli agenti scelgono le Skill autonomamente.
- Dagli schemi alle aggiunte
CoSA propone aggiunte che forniscono un’operazione aziendale mancante oppure modificano il modo in cui quelle esistenti scambiano informazioni, riutilizzano decisioni o collegano azioni a obiettivi. Verifica che le operazioni e i passaggi tra Skill rispettino i contratti documentati, richiede che le candidate superino i controlli a livello di pacchetto e seleziona un insieme limitato per coprire le opportunità convalidate.
In una verifica diagnostica separata, le composizioni selezionate con più Skill hanno prodotto violazioni in 41 richieste su 60, contro 5 su 60 nei controlli abbinati con una sola Skill; entrambe le condizioni hanno completato 55 attività.
- Verifica della scelta autonoma delle Skill
La valutazione principale ha usato CoSA-Bench, un insieme di 288 attività aziendali fisse in quattro domini e tre categorie di rischio per le regole. Cinque modelli linguistici e tre configurazioni di agenti hanno eseguito ogni attività una volta con l’insieme originale e una volta con quello arricchito, scegliendo autonomamente le Skill e il loro ordine.
Un modello linguistico usato come valutatore ha conteggiato una violazione solo quando il resoconto mostrava un effetto concreto vietato. Nell’insieme delle condizioni valutate, il tasso di violazione è salito dal 35.02% al 58.45%.
- Controlli e protezione
I controlli su OpenClaw aiutano a circoscrivere le possibili spiegazioni dell’aumento: le aggiunte casuali innocue hanno avuto un tasso di violazione del 26.39%, la selezione casuale tra le candidate verificate di CoSA del 43.40% e CoSA completo del 54.24%.
Questi controlli suggeriscono che la sola dimensione dell’insieme o la selezione casuale non riproducono interamente il risultato, anche se ciascuna condizione casuale si basa su un solo campione. Una valutazione separata su attività di recruiting ha rilevato meno violazioni con CoSA-Guard, un controllo applicato alla configurazione dell’agente, anche se alcune violazioni sono rimaste.
Dettagli
- Autori del paper originale
- Yujia Zheng, Tianhao Li, Shangzhi Xu, Yuekai Huang, Ziyou Jiang
- Inviato ad arXiv
- Licenza
- CC BY 4.0