IT
Un controllo di fiducia riduce gli attacchi su Haiku, con risultati diversi tra i modelli
SentryBench: A Cost-Sensitive Benchmark for Adversarial Robustness of Tool-Using LLM Agents in Public-Safety Deployments · arXiv:2610.34535
In parole semplici
Un agente per la sicurezza pubblica che usa strumenti può commettere due tipi di errore dannoso: ignorare una vera emergenza o agire senza giustificazione. SentryBench è un framework di test che controlla entrambi i casi, usando scenari di emergenza, attacchi e un ambiente informatico con strumenti simulati.
Nei test di tre modelli, una generica istruzione alla prudenza spesso ha portato a ignorare emergenze. Il wrapper di trust-gating mirato ha ridotto il successo degli attacchi su Haiku; GPT-5 aveva già un tasso pari a zero senza difese.
Il mancato intervento non è aumentato nei modelli testati. I filtri del provider e il numero ridotto di attacchi contro GPT-5 effettivamente eseguiti limitano però la portata di questo risultato.
La ricerca
Quando un agente può inviare soccorsi o diramare allarmi, rifiutare un’istruzione non è automaticamente sicuro: ignorare una vera emergenza può causare danni. Una difesa può ridurre gli attacchi senza rendere gli agenti meno inclini a intervenire nei casi urgenti?
SentryBench misura le emergenze ignorate insieme agli attacchi e testa un controllo mirato: il successo degli attacchi è calato su Haiku, è rimasto a zero su GPT-5 ed è invariato su Sonnet, senza più mancati interventi.
Gli autori chiedono se gli agenti per la sicurezza pubblica possano resistere agli attacchi senza diventare così prudenti da ignorare emergenze reali.
SentryBench misura entrambi gli errori e gli autori confrontano un controllo mirato di fiducia con l’assenza di difese e con un’istruzione di cautela inserita solo nel prompt.
La cautela ha modificato il successo degli attacchi al massimo di 3.7 punti percentuali, ma il mancato intervento ha raggiunto il 100% per Sonnet e GPT-5. Il controllo mirato ha ridotto il successo degli attacchi dal 2.7% a zero su Haiku; GPT-5 era già a zero senza difese.
Nei tre modelli, ha mantenuto il mancato intervento pari o inferiore al valore di riferimento. Nei test, questi risultati supportano un approccio mirato.
I risultati provengono da un ambiente di test predisposto, con strumenti simulati, tre modelli e un insieme limitato di scenari.
Il filtro del provider ha ridotto il numero di attacchi contro GPT-5 effettivamente eseguiti: il tasso di successo degli attacchi pari a zero riportato per il modello non descrive i prompt bloccati.
Cosa mostrano le prove
- La sicurezza ha due tipi di errore
SentryBench è un benchmark e un framework di valutazione per agenti basati su modelli linguistici che usano strumenti in scenari di sicurezza pubblica. Verifica se gli agenti rispondono alle emergenze autentiche e resistono agli attacchi che cercano di deviarne le azioni.
La domanda centrale è se ridurre le azioni rischiose chiedendo prudenza all’agente lo porti anche a non intervenire quando è necessario.
- Misurare entrambi i tipi di danno
Il framework usa scenari benigni urgenti per misurare i mancati interventi, scenari benigni ambigui per misurare le azioni ingiustificate e scenari avversari per misurare il successo degli attacchi. Un valutatore deterministico legge i registri delle chiamate agli strumenti.
Ogni tasso è calcolato sul gruppo pertinente di scenari eseguiti, mentre il danno medio combina i costi dei due tipi di errore sull’intero insieme.
- La cautela può far ignorare emergenze
Nei confronti con l’assenza di difese, un’istruzione di cautela inserita solo nel prompt ha modificato il successo degli attacchi al massimo di 3.7 punti percentuali. Ma il mancato intervento ha raggiunto il 100% per Sonnet e GPT-5, e la cautela ha prodotto il danno medio più alto per tutti e tre i modelli testati.
Questi risultati mostrano perché il solo calo degli attacchi non basta a stabilire che una difesa abbia ridotto il danno.
- Un controllo mirato cambia il compromesso
Gli autori hanno testato anche un wrapper di trust-gating, che controlla i contenuti non attendibili per individuare manipolazioni e, se il controllo si attiva, indirizza a una persona le chiamate agli strumenti con conseguenze rilevanti.
Rispetto all’assenza di difese, il successo degli attacchi è sceso dal 2.7% a zero su Haiku; GPT-5 era già a zero. Il mancato intervento è rimasto pari o inferiore al valore di riferimento per tutti e tre i modelli.
Su Sonnet, successo degli attacchi e mancato intervento sono rimasti al valore di riferimento, mentre il contenimento è aumentato.
- Il filtro restringe le prove
Lo zero di GPT-5 a livello di modello si basa su appena 12 episodi avversari eseguiti: il filtro dei contenuti di Azure ha bloccato da 11 a 15 prompt per ogni condizione di difesa prima che il modello li elaborasse. Il filtro ha bloccato anche alcune emergenze autentiche, perciò gli autori riportano separatamente gli esiti del modello e quelli del sistema.
Il risultato riguarda ciò che è stato eseguito nell’ambiente di test e non chiarisce gli esiti dei prompt filtrati.
Dettagli
- Autori del paper originale
- Md Abu Yusuf, Oyshi Tabassum Aditi, Md Faysal Hosain Mazed
- Inviato ad arXiv
- Licenza
- CC0