ES
Los modelos de texto a imagen pueden aprender sin preentrenamiento solo con texto
Text-to-Image Generative Modeling Without Language Pretraining · arXiv:2610.26863
En palabras sencillas
Los modelos de texto a imagen convierten descripciones escritas en imágenes. Muchos se entrenan primero con enormes colecciones de texto, lo que aumenta su costo.
Este artículo presenta Halcyon, una familia de modelos entrenados desde cero para predecir palabras y fragmentos de imagen dentro de una misma secuencia, aprendiendo de descripciones emparejadas con imágenes. Con las descripciones de prueba de GPIC, la distribución de imágenes generadas por uno de los modelos Halcyon se pareció más a las imágenes de prueba que la de un sistema usado como comparación. En pruebas separadas, el entrenamiento solo con texto no mejoró los resultados de los modelos y configuraciones concretos que se probaron.
La investigación
Una pregunta clave en la investigación de texto a imagen es si los modelos necesitan entrenarse con enormes cantidades de texto de internet para entender las descripciones, o si pueden aprender esa relación directamente de descripciones emparejadas con imágenes.
La respuesta también afecta a las comparaciones entre sistemas, porque el entrenamiento solo con texto puede representar una parte importante de su cómputo total de preentrenamiento.
Halcyon aprende a generar imágenes condicionadas por descripciones al predecir fragmentos de texto e imagen en una misma secuencia, sin preentrenamiento lingüístico solo con texto.
Los autores entrenan Halcyon desde cero con GPIC, usando imágenes emparejadas con descripciones para que estas condicionen la generación de imágenes.
Comparan imágenes generadas a partir de 50 000 descripciones de prueba de GPIC mediante gFD, una medida de la diferencia entre las distribuciones de imágenes generadas y de prueba; cuanto menor es el valor, mejor.
Halcyon obtiene puntuaciones menores que los sistemas seleccionados que usan modelos de texto preentrenados, y los autores incluyen en el cómputo total el entrenamiento del modelo de lenguaje, el generador de imágenes y el sistema de fragmentación de imágenes.
Esto muestra que, en estas comparaciones, es posible lograr una generación de imágenes sólida sin preentrenamiento solo con texto; como los sistemas difieren, queda sin resolver cuál es la contribución específica del preentrenamiento.
Las comparaciones principales son entre sistemas que difieren en arquitectura, inicialización, representación de imágenes y procedimiento de entrenamiento, por lo que no aíslan el efecto del preentrenamiento lingüístico.
Las pruebas controladas abarcan GPIC y modelos autorregresivos concretos; según los autores, aún falta establecer si los resultados se mantienen en otros conjuntos de datos y con resoluciones más altas.
Qué muestran las pruebas
- Otra forma de entrenar
Halcyon es una familia de modelos de texto a imagen que predice fragmentos de texto e imagen dentro de una misma secuencia compartida. Los autores entrenan los modelos y sus sistemas de fragmentación desde cero, con datos emparejados de imágenes y descripciones para que estas condicionen la generación de imágenes.
Así pueden estudiar si una buena generación de imágenes requiere el preentrenamiento lingüístico solo con texto que usan muchos sistemas actuales, contando también ese entrenamiento al comparar el cómputo.
- Cómo se comparan las imágenes
Para la comparación principal de calidad de imagen, los autores generan imágenes a partir de 50 000 descripciones de prueba de GPIC. La distancia de Fréchet de generación (gFD) mide la diferencia entre las distribuciones de imágenes generadas y de prueba; cuanto menor es el valor, mejor.
Halcyon-0.52B obtiene una gFD de 48.02, frente a 63.29 de LlamaGen-XL/8, mientras que Halcyon-1.6B obtiene 35.28, frente a 40.97 de JiT-T2I-XXL/8++. Estas comparaciones muestran resultados sólidos sin preentrenamiento solo con texto, aunque los sistemas difieren en varios aspectos de diseño y entrenamiento.
- Contar todo el preentrenamiento
Los autores también comparan el cómputo total de preentrenamiento de los sistemas entrenados con GPIC, contando el entrenamiento del modelo de lenguaje, el generador de imágenes y el sistema de fragmentación de imágenes.
Halcyon-0.52B usa 18.2 veces menos cómputo total de preentrenamiento que LlamaGen-XL/8; Halcyon-1.6B usa 275 veces menos que JiT-T2I-XXL/8++. Son comparaciones entre sistemas completos, no pruebas controladas que aíslen el preentrenamiento lingüístico; por ello, las diferencias de cómputo y calidad de imagen no pueden atribuirse únicamente a ese factor.
- Qué muestran las pruebas controladas
Para estudiar más directamente el entrenamiento solo con texto, los autores modifican el calendario de entrenamiento de Halcyon-0.52B. Destinar el 10%, el 20% o el 50% de un presupuesto fijo a ejemplos solo de texto produce una gFD peor que el calendario dedicado exclusivamente a texto a imagen.
Otra prueba conserva una época completa de texto a imagen después del entrenamiento solo con texto, usa 1.5 veces el cómputo de referencia y aun así no mejora la gFD. En una prueba distinta, Qwen3-0.6B inicializado con 36 billones de tokens de texto obtiene una puntuación ligeramente peor que la misma arquitectura inicializada al azar, después de una época de entrenamiento con GPIC.
- Añadir la predicción de descripciones
Halcyon también puede aprender a predecir descripciones a partir de imágenes. Sustituir ejemplos de entrenamiento de imágenes sin descripción por ejemplos de imagen a texto mantiene iguales el presupuesto de preentrenamiento y la cantidad de fragmentos de imagen del modelo 0.52B probado.
La pérdida de predicción de descripciones cae de forma marcada, mientras que la puntuación de generación de imágenes se mantiene comparable. Un sistema automático de reordenamiento asigna a los pares generados de imagen y descripción una puntuación media de correspondencia menor que a los pares de referencia de GPIC; por tanto, el resultado muestra capacidad adicional para predecir descripciones, no una calidad verificada por personas.
Detalles
- Autores del paper original
- Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas, Ehsan Adeli, Jiajun Wu
- Enviado a arXiv
- Licencia
- arXiv non-exclusive