Los generadores de video pueden dejar de refinar tokens estabilizados
En palabras sencillas
El artículo presenta Speculative Forcing, un método para que los generadores de video que construyen los videos poco a poco dediquen menos tiempo a refinar las partes que ya parecen estabilizadas.
El método revisa cada parte pequeña del video: conserva las estimaciones estabilizadas y sigue refinando las demás. Las partes conservadas todavía ayudan al generador a crear lo que viene después. En videos LongLive de cinco segundos, el verificador aprendido usó menos de la mitad de evaluaciones de denoising por token que el proceso habitual de cuatro pasos, mientras la puntuación agregada en una prueba de video se mantuvo cercana.
La investigación
Si algunas partes de un video generado dejan de cambiar pronto mientras otras todavía necesitan trabajo, ¿el generador tiene que dedicar el mismo número de pasos de refinamiento a cada parte? El artículo pregunta si puede ahorrar cómputo decidiendo token por token cuándo conviene conservar una estimación.
Speculative Forcing permite que un generador de video de pocos pasos fije las estimaciones de tokens que, según el verificador, ya se estabilizaron, para que el denoising posterior se centre en las demás.
El método revisa las estimaciones intermedias de los tokens y fija algunas pronto, mientras las demás continúan el mismo proceso de cuatro pasos.
En los videos LongLive de cinco segundos, el verificador aprendido promedió 1.68 evaluaciones de denoising por token, frente a 4.00 con el muestreo uniforme de cuatro pasos.
VBench, una prueba que evalúa la calidad del video y su correspondencia con la indicación, dio puntuaciones agregadas de 83.21 y 83.08, respectivamente. La cercanía entre las puntuaciones respalda un rendimiento agregado comparable en esta evaluación, pese a la reducción del trabajo de denoising.
Estos resultados abarcan dos generadores congelados en las condiciones evaluadas. Los autores señalan que la aceleración alcanzable depende del generador y de la dificultad del dominio, así que no se ha demostrado la misma ganancia de velocidad en otros casos.
Análisis
Detalles
- Autores del paper original
- Hyunwook Choi, Seungryong Kim, Dongyoon Han, Sangdoo Yun
- Enviado a arXiv
- Licencia
- CC BY 4.0