Skill pulite per agenti possono formare catene di azioni insicure
Detecting Insecure Compositions of Clean Agent Skills via Capability-Flow Graph Analysis · arXiv:2610.32155
In parole semplici
Un agente può usare in sequenza diverse skill, ciascuna pulita se esaminata da sola. L’output di una skill può influenzare la scelta della skill successiva: la catena può così portare a un’azione vietata, anche se ogni skill ha superato la propria verifica.
KnotScryer mappa i possibili passaggi di dati tra skill, cerca percorsi verso azioni vietate e controlla se i dati possono raggiungere la fine della catena. Nei test su 612 catene rilevate, gli agenti ne hanno eseguite molte; il risultato riguarda però quelle catene e i sistemi testati.
La ricerca
Se ogni skill a disposizione di un agente supera una verifica individuale, l’agente può comunque combinarne gli output fino a compiere un’azione vietata?
L’articolo studia questo rischio tra skill tracciando ciò che un agente può passare dall’una all’altra e verificando se i percorsi candidati possono essere eseguiti.
KnotScryer mappa i passaggi tra skill mediati dagli agenti e supportati da prove, cerca percorsi verso azioni vietate e verifica se le catene candidate possono essere eseguite.
I ricercatori hanno testato le 612 catene che KnotScryer ha trovato tra 13,598 skill con etichetta pulita, usando tre framework per agenti e tre modelli linguistici.
Una catena era considerata sfruttata quando contenuti della skill fonte influenzati da un attaccante portavano l’agente, attraverso il suo ragionamento normale, a eseguire la skill finale; in media sulle nove combinazioni è stato possibile sfruttare il 79.2% delle catene.
Questo mostra che molte delle catene rilevate potevano essere eseguite nelle configurazioni testate.
Un confronto con GLM-5.1 ha inoltre rilevato una percentuale complessiva di sfruttamento più alta per le candidate SCFG che per i campioni tag-match o graph-only, anche se i gruppi di candidate provenivano da parti diverse del corpus.
Questi risultati mostrano che le catene rilevate da KnotScryer possono essere sfruttate, ma non indicano quante catene insicure esistano.
Lo studio riguarda un’istantanea pubblica di ClawHub e i passaggi di dati mediati dagli agenti; non include skill o canali privati o non osservati, come file condivisi e variabili d’ambiente.
Cosa mostrano le prove
- Il rischio passa da una skill all’altra
KnotScryer è un metodo di analisi statica per trovare combinazioni insicure di skill per agenti che, prese singolarmente, risultano pulite. Il rischio è che un agente usi l’output di una skill per scegliere un’altra skill o fornirle un input, arrivando potenzialmente a un’azione vietata, come l’esecuzione di codice.
La domanda è se si possano analizzare questi passaggi mediati dall’agente senza trattare ogni coppia di skill compatibili come un canale effettivo.
- Modellare i passaggi tra skill
KnotScryer riassume quali dati ogni skill può ricevere, produrre e influenzare, poi collega le skill solo quando i tipi di dati sono compatibili, l’agente può vedere l’output precedente e fornire l’input successivo, e ci sono prove a sostegno di queste condizioni.
Cerca quindi percorsi in cui dati protetti o non attendibili raggiungono effetti vietati. Le catene candidate vengono poi verificate per stabilire se i dati possono raggiungere la destinazione e se un’attività plausibile può collegare i passaggi.
- Testare le catene rilevate
I ricercatori hanno testato tutte le 612 catene trovate tra 13,598 skill etichettate come pulite in un’istantanea di ClawHub. Hanno abbinato tre framework per agenti a tre modelli linguistici, in un ambiente isolato.
Una catena era considerata sfruttata se contenuti influenzati da un attaccante, entrati attraverso una skill fonte, portavano l’agente, con il suo ragionamento normale, a eseguire la skill finale. In media sulle nove combinazioni, è stato possibile sfruttare il 79.2% delle catene rilevate.
- Confrontare i metodi per selezionare le candidate
Con GLM-5.1 e tre framework, le candidate generate da SCFG hanno avuto una percentuale complessiva di sfruttamento dell’85.6%, contro il 16.5% per tag-match e il 18.2% per graph-only. Il confronto valuta se verificare i passaggi visibili all’agente e gli input che può fornire aiuti a individuare candidate eseguibili.
I gruppi di candidate differiscono: SCFG ha usato catene dell’intero corpus, mentre ciascuna percentuale di riferimento proviene da 500 candidate campionate nel sottografo popolare.
- Cosa aggiungono le verifiche
Nel sottografo popolare, omettere l’osservabilità o la controllabilità ha prodotto più candidate delle 13 generate dalla configurazione completa: rispettivamente 126 e 103. Le percentuali di sfruttamento riportate erano 40.0% e 33.2%, ma l’articolo le confronta con il riferimento dell’85.6% calcolato sulle catene dell’intero corpus, non con una percentuale della configurazione completa sullo stesso sottografo.
Separatamente, 84 catene rilevate erano composte solo da skill con etichetta sicura: ciò mostra che alcune combinazioni rischiose non sono intercettate da quelle etichette assegnate alle singole skill.
Dettagli
- Autori del paper originale
- Yihao Li, Chuanpu Fu, Yizhou Zhao, Miao Chen, Qi Li
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive