Un método de regresión destila modelos generativos en menos pasos
En palabras sencillas
Los modelos de difusión y de flujo pueden crear imágenes, videos y otros medios, pero a menudo necesitan muchas llamadas al modelo para generar una muestra. Este artículo presenta Simplified Matching Distillation (SMD), un método para entrenar un modelo a generar en menos pasos haciendo que sus predicciones coincidan con las de un modelo fijo a lo largo del propio recorrido del estudiante.
En uno de los modelos de texto a imagen evaluados, la versión de SMD con cuatro llamadas obtuvo una puntuación mayor que otro método con cuatro llamadas en dos pruebas que miden cuánto se ajustan las imágenes a las indicaciones. El resultado se limita a los modelos y las pruebas reportados.
La investigación
Los generadores de difusión y de flujo pueden requerir de decenas a cientos de evaluaciones secuenciales de la red para producir una muestra.
¿Cómo se puede entrenar un generador preentrenado para que use solo unos pocos pasos y aprenda del comportamiento del docente a lo largo de su propio recorrido?
SMD destila un generador preentrenado al ajustar las predicciones de pocos pasos del estudiante a las de un docente fijo a lo largo del propio recorrido del estudiante.
Los autores entrenan a un estudiante con su propio recorrido de pocos pasos y ajustan sus predicciones a las de un docente fijo en puntos intermedios de cada paso amplio. En FLUX. 1-dev, un estudiante SMD con cuatro evaluaciones obtuvo 0.715 en GenEval, que mide la correspondencia entre texto e imagen en composiciones complejas, frente a 0.675 de π-Flow; en DPG-Bench, que mide la correspondencia con indicaciones detalladas, obtuvo 84.8 frente a 84.3.
Estos resultados muestran puntuaciones más altas en las dos medidas de correspondencia reportadas para este modelo y ajuste de evaluación. El método también añade componentes usados solo en el entrenamiento para representar variaciones dentro de cada paso y alejar al estudiante de una predicción docente más débil.
La comparación con FLUX.1-dev abarca esos modelos, ajustes de inferencia y pruebas de correspondencia con las indicaciones; la fuente no establece que SMD y π-Flow usaran la misma inicialización ni procedimientos de entrenamiento idénticos.
Algunas evaluaciones de generación 3D y de audio y video condicionados por referencias son cualitativas, por lo que no establecen el rendimiento cuantitativo en esos casos.
Análisis
Detalles
- Autores del paper original
- Jiawei Zhang, Ziyu Wan, Nanye Ma, Long Zhao, Dong Chen
- Enviado a arXiv
- Licencia
- arXiv non-exclusive