Il contesto del codice aiuta alcuni modelli a trovare vulnerabilità
How Much Does the Harness Matter, and for Whom? A Multi-Model Study of Context in LLM-Driven Vulnerability Discovery · arXiv:2610.28802
In parole semplici
Lo studio esamina se gli strumenti e le informazioni sul codice forniti agli agenti AI cambiano la loro capacità di trovare problemi di sicurezza in software reale. DeepSec seleziona prima i file da esaminare, poi affida a un agente la loro analisi e una nuova revisione delle proprie segnalazioni.
I ricercatori verificano anche i risultati mantenuti. Tra 24 configurazioni di modelli e strumenti, nessuna ha trovato tutti i problemi confermati osservati nell’intero studio.
In un test separato su quattro modelli, combinare un prompt progettato per la sicurezza con il contesto del codice ha aiutato alcuni modelli più di altri rispetto a un prompt minimo; la media dei risultati del modello più forte non è aumentata.
La ricerca
Quando un agente AI cerca difetti di sicurezza nel software reale, quanto contano le sue istruzioni e le informazioni aggiuntive sul codice? E la risposta dipende dal modello che esegue la ricerca?
Capirlo è importante per interpretare i risultati, perché possono dipendere sia dal modello sia dagli strumenti che lo circondano.
Gli autori confrontano configurazioni e prompt di DeepSec: le indicazioni progettate insieme al contesto del codice aumentano i risultati di sicurezza confermati per alcuni modelli, ma non per altri.
Gli autori hanno confrontato quattro modelli selezionati usando un prompt minimo, un prompt di sicurezza progettato e lo stesso prompt affiancato dal contesto del codice ricavato da CodeQL.
Hanno mantenuto fisse le fasi di selezione dei file e revisione, calcolando la media di due esecuzioni per condizione.
La condizione che combina prompt e contesto ha aumentato la media delle vulnerabilità confermate per tre modelli, mentre GPT-5.5 è rimasto invariato. Il confronto per fasi ha mostrato che il solo prompt ha migliorato i risultati per tutti e quattro, mentre aggiungere il contesto ha aiutato soltanto Gemma.
Questo indica che il guadagno della combinazione dipende dal modello, non che il solo contesto aiuti ogni modello.
Lo studio sul contesto ha testato quattro modelli con due esecuzioni per condizione, quindi le stime degli effetti sono approssimative. Il confronto principale cambia sia il prompt sia il contesto aggiunto: nel confronto per fasi, il solo contesto ha aumentato il numero di risultati soltanto per Gemma in questo esperimento.
Anche la valutazione principale riguarda un solo codice sorgente, mentre un test separato fornisce una conferma limitata su un altro linguaggio.
Cosa mostrano le prove
- Domanda e sistema
DeepSec è un sistema di ricerca delle vulnerabilità basato su agenti: seleziona i file, affida a un agente AI l’analisi dei candidati e chiede allo stesso modello di ricontrollare le proprie segnalazioni. I ricercatori poi raggruppano quelle che corrispondono e verificano i risultati mantenuti.
Lo studio esamina come si comportano diverse configurazioni di modelli e harness su codice di produzione con vulnerabilità non pubbliche al momento dell’analisi, e se aggiungere contesto sul codice cambi i risultati in modo diverso tra i modelli.
- Una configurazione lascia lacune
Nello studio multi-modello, 24 configurazioni di modello e runner hanno usato la stessa procedura DeepSec e lo stesso codice sorgente, ma differivano per harness di base e runner. Queste differenze confondono i confronti tra configurazioni.
I ricercatori hanno contato 265 cause profonde di vulnerabilità distinte e confermate, osservate nelle due esecuzioni delle diverse configurazioni. La configurazione più efficace nelle due esecuzioni ne ha trovate 160, pari al 60.4% dell’unione osservata, mentre 38 cause sono apparse nell’insieme di un solo modello.
L’unione comprende quindi risultati sfuggiti alla configurazione più efficace; non rappresenta tutte le vulnerabilità presenti nel codice.
- Il contesto ha effetti diversi
Lo studio sul contesto ha confrontato quattro modelli selezionati con le rispettive condizioni di prompt minimo, usando le medie di due esecuzioni. La condizione che combina il prompt di sicurezza progettato per DeepSec con il contesto del codice ricavato da CodeQL ha aumentato la media delle vulnerabilità confermate per Gemma, GLM-5.1 e Composer-2.5.
La media di GPT-5.5 è rimasta invariata. Anche un punteggio ponderato per gravità è aumentato di più per Gemma, GLM-5.1 e Composer-2.5; la piccola variazione di GPT-5.5 rientrava nel rumore tra le esecuzioni.
- Distinguere i cambiamenti
Un confronto per fasi aiuta a interpretare il risultato combinato. Aggiungere soltanto il prompt progettato ha aumentato la media dei risultati di sicurezza rispetto al prompt minimo per tutti e quattro i modelli.
Aggiungere il contesto CodeQL a quel prompt ha aumentato i risultati solo per Gemma e li ha ridotti per gli altri tre in questo esperimento. Il confronto principale, quindi, non permette di attribuire i cambiamenti al solo contesto.
Gli autori ipotizzano che le informazioni sui percorsi nel codice possano essere utili ad alcuni modelli, ma questa spiegazione non è stata verificata direttamente.
- Un secondo contesto di codice
Gli autori hanno verificato la direzione del cambiamento associato al contesto su 21 istanze di file C/C++ vulnerabili e note, provenienti da CyberGym Level-0, un test che verifica se i sistemi trovano vulnerabilità note presenti nei file vulnerabili.
Tutti e quattro i modelli hanno trovato la vulnerabilità in più istanze con il contesto che con l’harness di base. Il risultato offre una conferma in un altro linguaggio e codice sorgente, ma il test usa un insieme pubblico e corretto con patch e non stabilisce come vadano i sistemi in generale con difetti non divulgati.
Dettagli
- Autori del paper originale
- Ganni Galea Curmi, Ben Wilde
- Inviato ad arXiv
- Licenza
- CC BY 4.0