Chiosa
AI Security & Safety

Kairos trattiene le azioni incerte dell'agente per una revisione successiva

2 min
Pubblicato su Chiosa Aggiornato

In parole semplici

Un agente può seguire istruzioni nascoste nel contenuto che legge. Un'azione può sembrare lavoro normale quando avviene per la prima volta, anche se azioni successive rivelano un problema.

Kairos è un monitor che mette in attesa le modifiche ai file incerte e trattiene le richieste le cui risposte non sono necessarie mentre l'agente continua. Se l'agente ha bisogno della risposta a una richiesta, Kairos decide prima di inviarla.

Un decisore separato esamina gli effetti trattenibili usando il compito e la cronologia delle azioni. Nei test, ha ridotto gli attacchi riusciti su un insieme di attività simulate, mantenendo il completamento delle attività ordinarie vicino al livello dell'agente senza difesa.

La ricerca

Quando un agente agisce su contenuti che possono contenere un attacco, la prima azione può assomigliare a lavoro legittimo, mentre azioni successive ne rivelano le conseguenze. Un monitor può attendere quella evidenza senza rilasciare effetti dannosi né bloccare attività utili?

Kairos mette in attesa le modifiche ai file incerte e trattiene le richieste le cui risposte non sono necessarie mentre l'agente continua, così le azioni successive possono informare la decisione. Una richiesta la cui risposta è necessaria all'agente deve essere decisa prima dell'invio.

Kairos trattiene gli effetti incerti al confine di isolamento. La sua policy applica regole e verifica la provenienza attendibile e il livello di autorizzazione dei dati; un oracle con perimetro limitato esamina gli effetti rinviati rispetto al compito e all'action trace.

Su AgentDojo, che testa attacchi nascosti nel contenuto letto da un agente, una difesa può ridurre gli attacchi riusciti senza abbassare drasticamente il completamento ordinario delle attività?

Il tasso di successo dell'attacco conta i casi di injection in cui l'obiettivo dell'attaccante viene completato; l'utilità benigna conta le attività dell'utente completate senza attacco.

Gli autori hanno confrontato GPT-4.1 con Kairos rispetto all'agente senza difesa su quattro suite. Il tasso di successo dell'attacco è sceso dal 47,0% al 2,7% dei casi di injection, mentre l'utilità benigna è stata dell'85,1% contro l'82,7% delle attività benigne.

Questo supporta una conclusione delimitata: Kairos ha ridotto gli attacchi mantenendo il completamento ordinario delle attività vicino al livello senza difesa in questo test.

Questi risultati riguardano simulazioni su benchmark, in cui le chiamate agli strumenti sono state adattate come eventi al confine anziché effetti reali sul sistema.

L'autorizzazione dipende inoltre dalle regole della policy e da un oracle che può essere influenzato da contenuti non attendibili; Kairos non garantisce che ogni rilascio sia corretto.

Analisi

Dettagli

Paper successivoNOMOS makes written policies safer for tool-using agents