Un método de entrenamiento visual aprende recompensas más rápido y con más estabilidad
En palabras sencillas
Este artículo presenta DiffusionART, un método para entrenar generadores de imágenes y videos con puntuaciones de recompensa que llegan solo después de completar un resultado. Reúne varios resultados para cada prompt, encuentra la dirección compartida que relaciona recompensas más altas con los resultados finales generados y aplica esa dirección a los estados visitados durante la eliminación de ruido.
Una segunda actualización devuelve los estados que se han alejado demasiado hacia la posición que tenían al iniciar la trayectoria de muestreo. En el experimento de video reportado, el método alcanzó una puntuación de calidad visual de 5.5 mucho antes que DiffusionNFT con promedio móvil exponencial (EMA).
La investigación
¿Puede el entrenamiento guiado por recompensas mejorar las cualidades visuales que interesan a las personas sin obligar a cada modelo o tarea nueva a depender de un calendario de estabilización frágil?
El artículo examina si la inestabilidad surge de cómo se asigna la información de recompensa entre los estados de eliminación de ruido, y si un método puede conservar una guía útil a la vez que corrige las actualizaciones excesivamente grandes.
DiffusionART convierte los resultados recompensados de cada prompt en una actualización compartida y restaura los estados que se desvían, para que los generadores visuales aprendan de las recompensas con eficiencia y sin ajustar EMA.
Los autores muestran que las dos ramas de recompensa de NFT comparten una guía útil, pero conservan una fuerza de consistencia que varía según el estado.
En los controles, quitar el ancla de la política anterior sigue provocando un colapso; sin EMA, dos actualizaciones lo evitan durante el periodo observado, pero tardan 15.2 veces más, lo que apunta a la restauración como mecanismo estabilizador.
DiffusionART aplica a los estados visitados una dirección compartida basada en las recompensas y los resultados finales, y luego corrige los estados que se han desviado.
Con HunyuanVideo-13B, alcanza la puntuación de calidad visual de VideoReward de 5.5 en 24 pasos, frente a 273 con DiffusionNFT y EMA, y después registra puntuaciones más altas de calidad visual y del movimiento bajo la configuración reportada.
Las aceleraciones y puntuaciones de evaluación corresponden a los modelos, modalidades, configuraciones de recompensa, procedimientos de muestreo y periodos de entrenamiento o evaluación descritos. No demuestran que se obtengan los mismos resultados fuera de esas configuraciones probadas.
Análisis
Detalles
- Licencia
- arXiv non-exclusive