IT
Gate di attenzione appresi riducono la prompt injection in due modelli open-weight
Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness · arXiv:2610.37657
In parole semplici
A volte i modelli devono leggere l’output di strumenti o altri contenuti esterni, ma questi possono contenere istruzioni che il modello non dovrebbe seguire. Heads of Security (HoS) è una difesa che impara quali parti del modello dovrebbero prestare meno attenzione a quelle istruzioni, lasciando che altre parti elaborino comunque il contenuto.
In un test, un attaccante adattivo ha avuto successo nel 10% degli obiettivi tenuti da parte contro GPT-OSS-20B con HoS, rispetto al 97.2% contro il modello senza difese. Il risultato vale per quell’attaccante e quella configurazione di test.
La ricerca
Quando un modello linguistico legge l’output di uno strumento, potrebbe aver bisogno delle informazioni ma non dovrebbe obbedire alle istruzioni inserite da un attaccante. Resta da capire se una difesa possa imporre questa distinzione lasciando al modello la capacità di elaborare il contenuto.
HoS impara gate di attenzione per ogni head per limitare l’esecuzione di istruzioni iniettate, consentendo al modello di elaborare contenuti esterni.
La sfida è consentire a un modello di usare le informazioni nei contenuti esterni senza trattare le istruzioni inserite al loro interno come comandi.
HoS affronta il problema imparando gate di attenzione che permettono ad alcune head del modello di limitare l’attenzione ai contenuti non attendibili, mentre altre possono comunque elaborarli.
Contro un attaccante adattivo addestrato contro SecAlign, l’attacco è riuscito nel 10.0% di 100 obiettivi InjecAgent tenuti da parte contro GPT-OSS-20B con HoS, rispetto all’85.2% con SecAlign e al 97.2% senza difese.
L’attacco ha successo quando il modello nomina lo strumento dell’attaccante nella prima chiamata a uno strumento; i tassi sono medie su cinque esecuzioni con uno sforzo di ragionamento medio.
I risultati riguardano due modelli open-weight e gli attacchi e le attività testati. HoS dipende da un confine di fiducia assegnato correttamente; valutazioni finite non possono escludere che un avversario capace riesca a condurre un attacco.
Cosa mostrano le prove
- Separare i dati dalle istruzioni
Heads of Security (HoS) è una difesa contro la prompt injection che aiuta i modelli linguistici a trattare i contenuti esterni come dati anziché come istruzioni autorizzate. È rilevante quando un modello legge l’output di uno strumento: potrebbe aver bisogno delle informazioni che contiene, ignorando però le istruzioni inserite per deviare le sue azioni.
Il paper chiede se il modello possa distinguere questi ruoli senza perdere la capacità di usare il contenuto.
- Imparare un gate per ogni head
HoS assegna i token a gruppi attendibili, non attendibili e del template di chat, poi impara gate di attenzione per ogni attention head. Alcune head possono ridurre l’attenzione ai token non attendibili, mentre altre possono comunque elaborarli.
Il confine di fiducia viene fornito al sistema: HoS non determina quali fonti o istruzioni debbano essere considerate attendibili.
- Addestrare su risposte in competizione
Gli autori addestrano i gate su coppie di preferenza: una risposta segue l’istruzione dell’utente, l’altra un’istruzione iniettata. Confrontano HoS con SecAlign, che usa lo stesso dataset di preferenze, ma ha componenti addestrabili diversi e colloca il testo non attendibile in un altro punto.
Il confronto inquadra i risultati senza implicare che tutte le condizioni di addestramento fossero identiche.
- Misurare la resistenza agli attacchi
In un test con attacco adattivo, un attaccante addestrato contro SecAlign ha avuto successo nel 10% di 100 obiettivi InjecAgent tenuti da parte contro HoS su GPT-OSS-20B. Lo stesso attaccante ha avuto successo nell’85.2% dei casi contro SecAlign e nel 97.2% contro il modello senza difese.
I tassi di successo sono medie su cinque esecuzioni con uno sforzo di ragionamento medio: sono quindi evidenza relativa a quell’attaccante e a quella valutazione.
- Verificare l’utilità e la soppressione fissa
Gli autori hanno verificato anche le normali prestazioni nelle domande a risposta multipla: sulle domande MMLU-Pro con cinque esempi, GPT-OSS-20B con HoS ha raggiunto un’accuratezza del 67.2%, vicino al 68.3% del modello di base; SecAlign ha raggiunto il 59.4%.
Un confronto distinto su AgentDojo e AgentDyn ha rilevato che i gate appresi possono ottenere un equilibrio diverso tra completamento delle attività legittime e successo delle attività iniettate rispetto alla soppressione uniforme fissa.
In quel confronto su GPT-OSS-20B, AgentDojo ha escluso le attività utente Workspace 35 e 38 perché possono superare il limite di contesto del modello di base; AgentDyn non ha escluso attività. Nel complesso, questi risultati supportano un caso circoscritto a favore di HoS, non una garanzia valida per ogni attività o attacco.
Dettagli
- Autori del paper originale
- Igor Shilov, Xiaoxue Yang, Alexander Panfilov, Evgenii Kortukov, Matthieu Meeus
- Inviato ad arXiv
- Licenza
- CC BY 4.0