IT
Gli attacchi collegati al compito rivelano altri fallimenti
On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection · arXiv:2610.32531
In parole semplici
Una prompt injection è un’istruzione nascosta in contenuti esterni che cerca di allontanare un modello dal compito assegnato dall’utente. Questo articolo presenta NTBench, una serie di test per verificare se simili istruzioni possono indurre il modello a dare una risposta collegata al compito ma sbagliata, oppure a compiere un’azione dannosa.
I test partono da risposte legittime; poi propongono e controllano le deviazioni prima di provare le istruzioni. Nei compiti linguistici valutati, ogni modello esaminato ha avuto più attacchi riusciti con questi esiti collegati al compito che nel confronto con obiettivi fissi. Il risultato vale per i compiti e i controlli esaminati.
La ricerca
Se un modello rifiuta un’istruzione che abbandona chiaramente il compito dell’utente, resisterà anche a un’istruzione che ne conserva gran parte ma aggiunge un errore o un’azione dannosa?
Provare più istruzioni per un solo esito selezionato non può dire se riuscirebbero anche altri esiti desiderati dall’attaccante.
NTBench costruisce e convalida obiettivi errati o dannosi collegati al compito, poi verifica se le relative istruzioni rivelano fallimenti che gli attacchi a obiettivo fisso non mostrano.
NTBench verifica se istruzioni mirate a esiti errati o dannosi collegati al compito rivelano debolezze che i test sulle prompt injection con obiettivi fissi non mostrano.
Il benchmark ricava obiettivi candidati da esiti legittimi, convalida che costituiscano vere violazioni e poi controlla se un’istruzione inserita nel contenuto riesce a indurli.
Nei compiti linguistici, ogni modello valutato ha avuto un tasso di successo degli attacchi superiore in entrambi i percorsi con obiettivi vicini rispetto al baseline a obiettivo fisso, mantenendo lo stesso limite massimo di tre tentativi.
Questo sostiene la conclusione che gli esiti scelti per i test influenzano quali fallimenti vengono rivelati; i criteri di successo dei due approcci differiscono.
I risultati riguardano i compiti, gli obiettivi generati, i modelli e i controlli di successo selezionati.
Il benchmark incoraggia obiettivi che restino collegati a esiti legittimi, ma non impone un limite numerico alla loro distanza; inoltre, i confronti non mostrano un aumento del successo a parità di obiettivo dell’attaccante.
Cosa mostrano le prove
- Testare violazioni collegate al compito
NTBench, il Near-Target Benchmark, è una raccolta di test di red teaming per valutare la resistenza alle prompt injection. Verifica se istruzioni nascoste in contenuti non attendibili possono indurre un sistema a produrre un esito errato o dannoso che resti collegato al compito dell’utente.
La domanda è rilevante perché rifiutare attacchi che abbandonano palesemente il compito può lasciare senza verifica altri esiti desiderati dall’attaccante.
- Costruire obiettivi verificati
Per ogni compito, un LLM usa un esito legittimo di riferimento per proporre un obiettivo e un’istruzione pensata per indurlo. NTBench distingue gli obiettivi che introducono errori da quelli che soddisfano criteri di dannosità.
Controlli eseguiti con LLM e convalide umane verificano se ciascun esito proposto viola il compito o i criteri selezionati, così una risposta semplicemente diversa ma accettabile non viene considerata una violazione.
- Confrontare gli esiti degli attacchi
La valutazione considera riuscito un campione quando almeno uno di un massimo di tre attacchi induce la deviazione specificata e il controllo corrispondente non rileva la stessa deviazione in un’esecuzione senza attacco.
Su sette modelli linguistici e dieci dataset, entrambi i percorsi con obiettivi vicini hanno avuto un ASR@3 complessivo superiore al baseline a obiettivo fisso per ogni modello. ASR@3 è la percentuale di campioni con almeno un attacco riuscito entro tre tentativi.
- Estendere il confronto agli agenti
Lo stesso andamento è emerso in AgentDojo e AgentDyn, raccolte che testano agenti basati su modelli linguistici mentre eseguono flussi di lavoro che possono includere chiamate agli strumenti. In entrambe le raccolte e per ogni modello valutato, i percorsi con obiettivi vicini hanno avuto un ASR@3 superiore al baseline a obiettivo fisso; il calcolo considera i punti raggiunti in cui era presente un’iniezione.
Il controllo del successo della chiamata verificava lo strumento e i principali argomenti, ma non gli effetti successivi.
Dettagli
- Autori del paper originale
- Yuyang Gong, Zihao Wang, Jiawei Liu, XiaoFeng Wang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive