ES
Las señales tempranas pueden detectar prompts de imagen riesgosos
When Guidance Becomes a Guard: Early Interception of Unsafe Inputs in Text-to-Image Generation · arXiv:2610.26452
En palabras sencillas
Los generadores de texto a imagen pueden crear imágenes no seguras si los prompts superan las protecciones. Si se revisa solo la imagen terminada, el generador ya ha hecho todo el trabajo.
Este artículo presenta un método que observa las señales que produce el generador mientras crea la imagen. Detiene las generaciones cuyas señales parecen riesgosas y deja que las demás continúen.
En pruebas con cinco generadores, detectó prompts no seguros mejor que seis detectores de comparación en la mayoría de las situaciones evaluadas, con la misma tasa de falsas alarmas.
La investigación
Cuando las protecciones de un generador de texto a imagen dejan pasar un prompt riesgoso, revisar la imagen terminada significa que ya se ha asumido todo el costo de generación. Aún no está claro si el generador revela suficiente información sobre el riesgo mientras crea la imagen como para detener antes una solicitud señalada sin bloquear todas las solicitudes benignas.
CSTI lee señales internas tempranas de un generador de texto a imagen para marcar prompts riesgosos y detener su generación antes de que termine la síntesis.
Los autores evalúan si las señales internas de un generador de texto a imagen pueden revelar prompts riesgosos antes de que termine la imagen.
Su método lee respuestas emparejadas que el generador ya calcula, toma una decisión de detención tras tres actualizaciones tempranas y deja que las generaciones aceptadas sigan su trayectoria original.
Entre cinco generadores y 40 combinaciones de riesgo y prompts, CSTI tuvo la tasa más alta de detección de entradas no seguras en 37 situaciones, entre seis detectores, al compararlos con la misma tasa empírica de falsos positivos del 5%. Esto respalda la interceptación temprana dentro de las colecciones evaluadas.
La comparación abarca cinco generadores y las colecciones de prompts evaluadas; no establece el rendimiento con prompts ni en condiciones ajenas a esas pruebas.
En prompts benignos difíciles que se parecían a conceptos no seguros, las falsas interceptaciones siguieron siendo una limitación, sobre todo en SD3.5.
Qué muestran las pruebas
- Detectar el riesgo antes de terminar
El artículo pregunta si los propios cálculos de un generador de texto a imagen pueden revelar prompts riesgosos antes de que termine la síntesis.
Revisar la imagen terminada ocurre solo después de asumir el costo de generación. Los autores examinan señales producidas durante el proceso para identificar el riesgo a tiempo, detener las solicitudes señaladas y permitir que las aceptadas continúen.
- Leer las señales del generador
Conditional Semantic Trajectory Interception (CSTI) lee respuestas internas emparejadas que el generador ya calcula con el prompt y sin él. Resume esas respuestas en tres actualizaciones tempranas y usa una puntuación lineal para detectar un concepto de riesgo específico.
Un conjunto aparte de ejemplos seguros permite calibrar el umbral de detención, y el generador permanece sin cambios.
- Comparar la detección con las mismas falsas alarmas
Los autores comparan CSTI con seis detectores representativos en cinco generadores, seis colecciones de prompts sobre desnudez y dos sobre violencia. Comparan la proporción de entradas no seguras detectadas y mantienen igualada al 5% la tasa empírica de falsos positivos.
CSTI obtuvo la tasa de detección más alta en 37 de las 40 combinaciones de generador y conjunto de prompts, lo que respalda el método dentro del alcance de estas pruebas.
- Comprobar cuándo aparece la señal
El análisis de los puntos de control pregunta si el riesgo puede leerse pronto y si ayudan varias observaciones tempranas. Con la tasa de falsos positivos igualada, la señal de la actualización 5 por sí sola detectó el 88,4% de las entradas de desnudez y el 85,2% de las de violencia.
Al combinar las actualizaciones 5, 10 y 15, la detección macro general subió al 94,5%, frente al 92,2% con solo la actualización 15.
- Evaluar el límite con prompts benignos
Los autores también evalúan las falsas interceptaciones de prompts benignos difíciles que se parecen a conceptos no seguros, usando dos generadores. CSTI siguió rechazando por error algunos de esos prompts, sobre todo con SD3.5.
Este resultado acota la conclusión principal: una detección eficaz en las colecciones de prompts no seguros evaluadas no significa que se permitan todos los prompts benignos de significado parecido.
Detalles
- Autores del paper original
- Yanchun Li, Yujin Wu, Gangkai Shen, Ming Yang, Li Zeng
- Enviado a arXiv
- Licencia
- CC BY 4.0