IT
I punteggi di attacco non bastano per decidere sulla prompt injection
From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection · arXiv:2610.20907
In parole semplici
La prompt injection è testo con istruzioni non attendibili che cerca di reindirizzare un'applicazione di AI. Questo studio di valutazione chiede se un punteggio di attacco possa aiutare un sistema a consentire, bloccare o inviare un input a un revisore.
I ricercatori hanno congelato i punteggi e le impostazioni decisionali, poi hanno testato insieme esempi di attacco e benigni. Nel punto in cui i sistemi mancavano al massimo l'1% degli attacchi in quella miscela di test, inviavano quasi tutti gli input alla revisione e continuavano a bloccare molti input benigni. Il risultato mostra che il punteggio, da solo, non determina il funzionamento dell'intero sistema.
La ricerca
Quando un input può contenere una prompt injection, una probabilità può dire al sistema se lasciarlo passare, bloccarlo o inviarlo alla revisione?
Un buon ordinamento può aiutare a individuare gli attacchi, ma la decisione finale dipende anche da quanto la stima corrisponde alla composizione effettiva degli input e da come il revisore gestisce i casi rinviati.
Questo studio valuta se le probabilità di attacco possano guidare le decisioni di consentire, bloccare o revisionare gli input in una pipeline congelata composta da gate e revisore.
Prima di testare 47,611 esempi da quattro raccolte sulla prompt injection, i ricercatori hanno congelato i gate che assegnano i punteggi di attacco, le relative impostazioni per consentire, bloccare o revisionare e un revisore basato su un modello linguistico. Solo gli input rinviati venivano inviati al revisore per la decisione finale.
Su questa miscela, per raggiungere un tasso osservato di attacchi mancati pari al massimo all'1% è stato necessario inviare alla revisione dal 91.89% al 92.55% di tutti gli input; veniva comunque bloccato dal 40.55% al 45.84% degli input benigni.
Questo mostra che il punteggio del gate, da solo, non determina i falsi positivi: contano anche il comportamento del revisore e le impostazioni decisionali.
Il gruppo di conferma è una miscela costruita deliberatamente, in cui gli attacchi rappresentano l'88,2%; i tassi complessivi non prevedono quindi la prevalenza naturale degli attacchi in un deployment.
Lo studio riporta stime puntuali senza intervalli di confidenza e misura il rilevamento e l'instradamento, non la compromissione successiva di un agente né i danni che ne potrebbero derivare.
Cosa mostrano le prove
- Cosa deve fare il punteggio
La prompt injection è testo non attendibile che tenta di reindirizzare un'applicazione di AI. Questo studio valuta se i punteggi di probabilità di attacco possano guidare la decisione di consentire, bloccare o rinviare un input a un revisore.
Un punteggio alto può aiutare a ordinare gli attacchi, ma anche la sicurezza espressa dalla stima deve corrispondere agli esiti osservati, e la decisione finale dipende da come vengono gestiti i casi rinviati. Lo studio esamina questa domanda su un insieme misto di input legati alla prompt injection.
- Come è stato fissato il confronto
Per evitare che gli esiti della prova di conferma influenzassero il sistema valutato, gli autori hanno scelto su dati separati i prompt, le impostazioni dei modelli, le correzioni dei punteggi, la soglia del revisore e gli intervalli del gate, poi li hanno congelati.
Ogni gate consente, blocca o rinvia un input; solo i casi rinviati passano al revisore fisso basato su un modello linguistico. Il test finale combina 47,611 esempi da quattro raccolte selezionate in precedenza, ma l'88,2% sono attacchi: questa miscela assemblata deliberatamente non stima la prevalenza naturale.
- I modelli differiscono nell'ordinamento
Per confrontare l'ordinamento degli attacchi, i ricercatori calcolano l'AUROC, una misura da 0 a 1 di quanto spesso un attacco riceve un punteggio superiore a un esempio benigno considerando diverse soglie; 1 indica un ordinamento perfetto.
Sugli esempi riuniti, il giudice basato su un modello linguistico ha ottenuto 0.897, Jev 0.871 e i classificatori Prompt Guard 2 86M e 22M rispettivamente 0.757 e 0.714. La misura è calcolata sugli esempi riuniti, non come media delle raccolte, e il confronto non isola gli obiettivi di addestramento.
- La sicurezza delle stime dà un quadro misto
La calibrazione chiede se le probabilità assegnate corrispondano alla frequenza effettiva degli attacchi: per esempio, tra gli input con punteggio 0.8, gli attacchi dovrebbero rappresentare circa l'80%. Dopo una correzione delle probabilità basata su dati target separati, i punteggi nativi di Jev hanno avuto un errore di calibrazione atteso inferiore rispetto a Prompt Guard 2 86M (0.541 contro 0.571), un punteggio Brier quasi uguale (0.440 contro 0.439), ma una perdita logaritmica negativa peggiore (1.432 contro 1.104). Per queste misure i valori più bassi sono migliori, quindi il quadro è misto.
- La revisione cambia il compromesso del sistema
Con lo stesso revisore, tutti e tre i gate hanno dovuto inviare alla revisione più del 91.8% degli input della prova di conferma per raggiungere un tasso osservato di attacchi mancati pari al massimo all'1%. In quei punti, bloccavano comunque dal 40.55% al 45.84% degli input benigni.
Questo mostra perché il revisore e le impostazioni decisionali contano insieme al punteggio del gate: la sola calibrazione non garantisce una decisione di sicurezza utile.
Dettagli
- Autori del paper originale
- Qianlong Lan, Anuj Kaul, Vinothini Pandurangan, Indranil Sanyal
- Inviato ad arXiv
- Licenza
- CC BY 4.0