AgentTriage rende riproducibili le diagnosi di sicurezza degli agenti

Quando un agente che usa strumenti compie un’azione sensibile per la sicurezza, è possibile verificare in modo indipendente che cosa sia accaduto a partire dalle registrazioni del runtime? Una risposta finale potrebbe non mostrare se l’azione sia stata completata né quali prove sostengano il resoconto, e i runtime registrano gli eventi in modi diversi. Il paper chiede come rendere riproducibili queste diagnosi tra sistemi.

AgentTriage trasforma gli eventi registrati degli agenti in diagnosi di sicurezza deterministiche e corredate di prove, astenendosi se mancano prove obbligatorie.

AgentTriage trasforma le registrazioni dei runtime in diagnosi ricalcolabili e verificabili rispetto agli eventi citati. I ricercatori hanno valutato se il sistema riuscisse sia a coprire formati di runtime diversi sia a ricostruire correttamente ciò che era accaduto.

Nei cinque runtime fissati, ha acquisito tutte le 159 esecuzioni applicabili; su un insieme separato di 120 casi convalidati, ha ottenuto 0.858 nella diagnosi congiunta fondata su prove.

Un caso contribuiva a quel punteggio solo se erano corretti il ciclo di vita dell’azione, i campi di sicurezza principali, l’esito della policy, gli argomenti pericolosi pertinenti e le prove richieste per le affermazioni.

Il valutatore delle diagnosi ha inoltre rilevato un’elevata copertura delle prove richieste e un basso tasso di affermazioni non supportate. Nel loro insieme, queste misure mostrano che il sistema può produrre diagnosi verificabili rispetto alle prove nella configurazione testata.

La valutazione riguarda cinque runtime fissati, gli scenari testati, un oracolo di policy definito in anticipo e le prove registrate. Una diagnosi riproducibile non è necessariamente corretta se gli eventi pertinenti non sono stati registrati; se mancano prove obbligatorie, il sistema si astiene.