IT
I segnali iniziali possono rivelare prompt rischiosi per le immagini
When Guidance Becomes a Guard: Early Interception of Unsafe Inputs in Text-to-Image Generation · arXiv:2610.26452
In parole semplici
I generatori da testo a immagine possono creare immagini non sicure quando i prompt superano le protezioni. Controllare soltanto l’immagine finita significa aspettare che il generatore abbia già completato tutto il lavoro.
Questo articolo presenta un metodo che osserva i segnali prodotti dal generatore mentre crea un’immagine. Interrompe le generazioni con segnali che sembrano rischiosi e lascia proseguire le altre.
Nei test su cinque generatori, ha rilevato i prompt non sicuri meglio di sei rilevatori di confronto nella maggior parte delle combinazioni esaminate, a parità di tasso di falsi allarmi.
La ricerca
Quando le protezioni di un generatore da testo a immagine non intercettano un prompt rischioso, controllare l’immagine finita significa aver già sostenuto l’intero costo della generazione.
Resta da capire se il generatore riveli abbastanza informazioni sul rischio mentre crea l’immagine da poter fermare prima una richiesta segnalata, senza bloccare tutte quelle benigne.
CSTI legge i segnali interni iniziali di un generatore da testo a immagine per segnalare prompt rischiosi e fermarne la generazione prima che la sintesi sia completata.
Gli autori verificano se i segnali interni di un generatore da testo a immagine possano rivelare prompt rischiosi prima che l’immagine sia finita.
Il loro metodo legge risposte appaiate che il generatore calcola già, prende un’unica decisione di blocco dopo tre aggiornamenti iniziali e lascia le generazioni accettate sul percorso originale.
Su cinque generatori e 40 combinazioni di prompt e rischio, CSTI ha ottenuto il tasso più alto di rilevamento degli input non sicuri in 37 combinazioni tra sei rilevatori, a parità di un tasso empirico di falsi positivi del 5%. Il risultato sostiene il blocco anticipato entro i limiti delle raccolte testate.
Il confronto comprende cinque generatori e le raccolte di prompt testate; non stabilisce le prestazioni su prompt o impostazioni diversi da quelli esaminati. Sui prompt benigni difficili, simili a concetti non sicuri, i falsi blocchi restano un limite, soprattutto per SD3.5.
Cosa mostrano le prove
- Cercare il rischio prima della fine
L’articolo esamina se i calcoli interni di un generatore da testo a immagine possano rivelare prompt rischiosi prima che la sintesi dell’immagine sia terminata. Controllare l’immagine finita avviene solo dopo aver sostenuto il costo della generazione.
Gli autori studiano i segnali prodotti durante la generazione per individuare il rischio abbastanza presto da interrompere le richieste segnalate, lasciando proseguire quelle accettate.
- Leggere i segnali del generatore
Conditional Semantic Trajectory Interception (CSTI) legge risposte interne appaiate che il generatore calcola già con il prompt e senza. Riassume queste risposte in tre aggiornamenti iniziali e usa un punteggio lineare per rilevare uno specifico concetto di rischio.
Una raccolta separata di esempi sicuri serve a calibrare la soglia di blocco, mentre il generatore resta invariato.
- Confrontare il rilevamento a parità di falsi allarmi
Gli autori confrontano CSTI con sei rilevatori rappresentativi su cinque generatori, usando sei raccolte di prompt con nudità e due con violenza. Confrontano la quota di input non sicuri rilevati mantenendo allo stesso livello, il 5%, il tasso empirico di falsi positivi.
CSTI ha raggiunto il tasso di rilevamento più alto in 37 delle 40 combinazioni tra generatore e prompt: un risultato che sostiene il metodo entro i limiti di questi test.
- Verificare quanto presto compare il segnale
L’analisi dei punti di controllo verifica se il rischio è leggibile presto e se più osservazioni iniziali sono utili. A parità di tasso di falsi positivi, il segnale dell’aggiornamento 5 da solo ha rilevato l’88,4% degli input con nudità e l’85,2% di quelli con violenza.
Combinare gli aggiornamenti 5, 10 e 15 ha portato il tasso macro complessivo di rilevamento al 94,5%, rispetto al 92,2% con il solo aggiornamento 15.
- Verificare il limite dei prompt benigni
Gli autori esaminano anche i falsi blocchi su prompt benigni difficili, simili a concetti non sicuri, usando due generatori. CSTI ha continuato a bloccare per errore alcuni prompt, soprattutto su SD3.5.
Questo risultato circoscrive la conclusione principale: un rilevamento efficace nelle raccolte di prompt non sicuri esaminate non significa che tutte le richieste benigne simili saranno accettate.
Dettagli
- Autori del paper originale
- Yanchun Li, Yujin Wu, Gangkai Shen, Ming Yang, Li Zeng
- Inviato ad arXiv
- Licenza
- CC BY 4.0