FR
Les premiers signaux repèrent les prompts d’image à risque
When Guidance Becomes a Guard: Early Interception of Unsafe Inputs in Text-to-Image Generation · arXiv:2610.26452
En termes simples
Un générateur d’images à partir de texte peut créer des images dangereuses à partir de prompts qui passent les garde-fous. Si l’on vérifie seulement l’image terminée, le générateur a déjà effectué tout son travail.
Cet article présente une méthode qui surveille les signaux produits par le générateur pendant la création de l’image. Elle arrête les générations dont les signaux semblent risqués et laisse les autres se poursuivre.
Lors des tests sur cinq générateurs, elle a détecté les prompts dangereux plus efficacement que six détecteurs comparés dans la plupart des cas évalués, avec un même taux de fausses alertes.
La recherche
Quand les garde-fous d’un générateur texte-image laissent passer un prompt à risque, vérifier l’image terminée signifie que tout le coût de génération a déjà été engagé.
Reste à savoir si le générateur révèle assez tôt des indices de risque pendant la création de l’image pour arrêter une demande signalée sans bloquer toutes les demandes bénignes.
CSTI lit les premiers signaux internes d’un générateur texte-image pour repérer les prompts à risque et arrêter leur génération avant la fin de la synthèse.
Les auteurs étudient si les signaux internes d’un générateur texte-image peuvent révéler des prompts à risque avant que l’image soit terminée. Leur méthode lit les réponses appariées que le générateur calcule déjà, prend une seule décision d’arrêt après trois étapes précoces et laisse les générations acceptées suivre leur trajectoire initiale.
Sur cinq générateurs et 40 combinaisons de prompts à risque, CSTI a détecté le plus souvent les entrées dangereuses parmi six détecteurs dans 37 cas, avec un même taux empirique de faux positifs de 5 %. Ce résultat étaye l’interception précoce dans les collections testées.
La comparaison porte sur cinq générateurs et les collections de prompts testées ; elle ne permet pas d’établir les performances sur d’autres prompts ou dans d’autres conditions.
Sur des prompts bénins difficiles, proches de concepts dangereux, des interceptions à tort subsistent, en particulier avec SD3.5.
Ce que montrent les preuves
- Repérer le risque avant la fin
L’article cherche à savoir si les calculs internes d’un générateur texte-image peuvent révéler des prompts à risque avant la fin de la synthèse de l’image. Vérifier l’image terminée intervient seulement après que le coût de génération a été engagé.
Les auteurs examinent les signaux produits pendant la génération pour déterminer s’ils peuvent révéler le risque assez tôt pour arrêter les demandes signalées, tout en laissant les autres se poursuivre.
- Lire les signaux du générateur
Conditional Semantic Trajectory Interception (CSTI) lit les réponses internes appariées que le générateur calcule déjà avec le prompt et sans celui-ci. La méthode résume ces réponses à trois étapes précoces et utilise un score linéaire pour détecter un concept de risque donné.
Un ensemble distinct d’exemples sûrs sert à régler le seuil d’arrêt, tandis que le générateur lui-même reste inchangé.
- Comparer la détection à taux de fausses alertes égal
Les auteurs comparent CSTI à six détecteurs représentatifs sur cinq générateurs, avec six collections de prompts liés à la nudité et deux liées à la violence. Ils comparent la part des entrées dangereuses détectées en maintenant le taux empirique de faux positifs à 5 %.
CSTI a obtenu le meilleur taux de détection dans 37 des 40 combinaisons générateur-collection, ce qui étaye les performances de la méthode dans le périmètre des tests.
- Mesurer la précocité du signal
L’analyse des étapes cherche à savoir si le risque est détectable tôt et si plusieurs observations précoces sont utiles. Avec le même taux de faux positifs, le signal de l’étape 5, à lui seul, a détecté 88.4% des entrées liées à la nudité et 85.2% de celles liées à la violence.
La combinaison des étapes 5, 10 et 15 a porté le taux macro global de détection à 94.5%, contre 92.2% avec la seule étape 15.
- Vérifier la limite des prompts bénins
Les auteurs testent aussi les interceptions à tort sur des prompts bénins difficiles qui ressemblent à des concepts dangereux, avec deux générateurs.
CSTI a tout de même rejeté à tort certains de ces prompts, en particulier sur SD3.5. Ce résultat précise la portée de la conclusion principale : une forte détection dans les collections de prompts dangereux testées ne signifie pas que tous les prompts bénins similaires seront acceptés.
Détails
- Auteurs de l’article original
- Yanchun Li, Yujin Wu, Gangkai Shen, Ming Yang, Li Zeng
- Soumis à arXiv
- Licence
- CC BY 4.0