I generatori video possono smettere di perfezionare i token stabili

Se alcune parti di un video generato smettono presto di cambiare mentre altre richiedono ancora lavoro, il generatore deve dedicare lo stesso numero di passaggi di perfezionamento a ogni parte? Il paper chiede se può risparmiare calcolo decidendo, token per token, quando conservare una stima.

Speculative Forcing permette a un generatore video in pochi passi di rendere definitivi i token che il verificatore prevede siano già stabili, così il denoising successivo si concentra sugli altri.

Il metodo controlla le stime intermedie dei token e rende definitive alcune in anticipo, mentre le altre continuano nella sequenza di quattro passaggi.

Nei video LongLive di cinque secondi, il verificatore appreso ha fatto in media 1.68 valutazioni di denoising per token, contro 4.00 con il campionamento uniforme in quattro passaggi.

VBench, un test che valuta la qualità del video e la corrispondenza con il significato del prompt, ha assegnato punteggi aggregati di 83.21 e 83.08. La vicinanza dei punteggi supporta prestazioni aggregate comparabili in questa valutazione, pur con meno lavoro di denoising.

Questi risultati riguardano due generatori a pesi congelati, nelle condizioni testate. Gli autori affermano che l’accelerazione ottenibile dipende dal generatore e dalla difficoltà del dominio; non è quindi dimostrato che si ottenga lo stesso aumento di velocità altrove.