Le contexte de code aide certains modèles à trouver des failles
How Much Does the Harness Matter, and for Whom? A Multi-Model Study of Context in LLM-Driven Vulnerability Discovery · arXiv:2610.28802
En termes simples
L’article étudie si les outils et les informations sur le code fournis aux agents d’IA changent leur capacité à trouver des problèmes de sécurité dans de vrais logiciels. DeepSec sélectionne d’abord des fichiers à examiner, puis demande à un agent de les analyser et de revoir ses propres signalements.
Les chercheurs vérifient aussi les découvertes retenues. Sur 24 configurations associant modèles et outils, aucune n’a trouvé à elle seule tous les problèmes confirmés observés dans l’ensemble de l’étude.
Dans un test distinct portant sur quatre modèles, la combinaison d’un prompt élaboré et de contexte sur le code a davantage aidé certains modèles qu’un prompt minimal ; le nombre moyen de découvertes du modèle le plus performant n’a pas augmenté.
La recherche
Quand un agent d’IA cherche des failles de sécurité dans de vrais logiciels, quelle importance ont ses consignes et les informations supplémentaires sur le code, et la réponse dépend-elle du modèle utilisé ?
Cette question compte pour interpréter les découvertes, car les résultats peuvent dépendre à la fois du modèle et des outils qui l’entourent.
Les auteurs comparent des configurations et des prompts DeepSec : des consignes élaborées accompagnées de contexte de code augmentent le nombre de failles confirmées pour certains modèles, mais pas pour d’autres.
Les auteurs ont comparé quatre modèles sélectionnés avec un prompt minimal, un prompt de sécurité élaboré et ce même prompt accompagné de contexte de code dérivé de CodeQL.
Ils ont gardé inchangées les étapes de sélection des fichiers et de vérification, puis calculé la moyenne de deux exécutions par condition.
La condition combinant prompt et contexte a augmenté le nombre moyen de failles de sécurité confirmées pour trois modèles, sans changement pour GPT-5.5. Une comparaison par étapes a montré que le prompt seul améliorait le nombre de failles trouvées pour les quatre modèles, tandis que l’ajout de contexte n’a aidé que Gemma.
Le gain de la combinaison dépend donc du modèle ; cela ne signifie pas que le contexte seul aide tous les modèles.
L’étude sur le contexte a testé quatre modèles, avec deux exécutions par condition : ses estimations sont donc approximatives. La comparaison principale modifie à la fois le prompt et le contexte de code ajouté ; la comparaison par étapes montre que le contexte seul n’a augmenté le nombre de failles trouvées que pour Gemma dans cette expérience.
L’évaluation principale porte aussi sur une seule base de code, avec un test distinct qui apporte une corroboration limitée dans un autre langage.
Ce que montrent les preuves
- Question et système étudié
DeepSec est un système de recherche de vulnérabilités fondé sur des agents : il sélectionne des fichiers, demande à un agent d’IA d’examiner les fichiers retenus, puis au même modèle de revérifier ses signalements. Les chercheurs regroupent ensuite les signalements similaires et examinent les découvertes retenues.
L’étude cherche à mesurer les performances de configurations associant modèles et systèmes sur du code de production dont les vulnérabilités n’étaient pas publiques au moment de l’analyse, et à déterminer si l’ajout de contexte de code change les résultats différemment selon le modèle.
- Une configuration laisse des lacunes
Dans l’étude multi-modèles, 24 configurations modèle–runner ont utilisé le même processus DeepSec et la même base de code cible, mais leurs systèmes de base et leurs runners différaient. Ces différences brouillent les comparaisons entre configurations.
Les chercheurs ont compté 265 causes racines distinctes de failles de sécurité confirmées, observées au fil de deux exécutions de chaque configuration. La configuration la plus performante sur deux exécutions en a trouvé 160, soit 60.4%, tandis que 38 causes racines figuraient dans l’ensemble des découvertes d’un seul modèle.
L’union contenait donc des découvertes manquées par la configuration la plus performante ; elle ne recense pas toutes les vulnérabilités de la base de code.
- L’effet du contexte varie
L’étude sur le contexte a comparé quatre modèles sélectionnés à leurs propres références avec prompt minimal, en calculant des moyennes sur deux exécutions. La condition combinant le prompt de sécurité élaboré de DeepSec et le contexte de code dérivé de CodeQL a augmenté le nombre moyen de failles confirmées pour Gemma, GLM-5.1 et Composer-2.5.
La moyenne de GPT-5.5 est restée inchangée. Le score pondéré par la gravité a également davantage augmenté pour Gemma, GLM-5.1 et Composer-2.5, tandis que la légère variation de GPT-5.5 se situait dans la marge de variation entre exécutions.
- Distinguer les changements
Une comparaison par étapes aide à interpréter le résultat combiné. L’ajout du prompt élaboré seul a augmenté le nombre moyen de failles de sécurité trouvées par rapport au prompt minimal pour les quatre modèles.
L’ajout du contexte CodeQL à ce prompt a augmenté ce nombre uniquement pour Gemma et l’a réduit pour les trois autres dans cette expérience. La comparaison principale ne permet donc pas d’attribuer les changements au seul contexte. Les auteurs avancent que le contexte pourrait fournir à certains modèles des informations utiles sur les chemins dans le code, mais cette explication proposée n’a pas été directement testée.
- Un autre environnement de code
Les auteurs ont vérifié la tendance associée au contexte sur 21 fichiers C/C++ vulnérables connus de CyberGym Level-0, un test visant à déterminer si les systèmes trouvent des vulnérabilités connues en amont dans les fichiers concernés. Les quatre modèles ont trouvé la vulnérabilité dans davantage de fichiers avec le contexte qu’avec le système de base.
Ce résultat apporte une corroboration dans un autre langage et une autre base de code, mais le test utilise un corpus public et corrigé et ne permet pas d’établir les performances générales sur des failles non divulguées.
Détails
- Auteurs de l’article original
- Ganni Galea Curmi, Ben Wilde
- Soumis à arXiv
- Licence
- CC BY 4.0