Adapta la solución de latencia a la parte de la generación que puedes cambiar

Un generador visual puede dedicar tiempo a refinar toda una salida, volver sobre partes que ya parecen estables o esperar a terminar un clip antes de mostrar algo. Cada demora requiere un cambio distinto.

Menos evaluaciones de eliminación de ruido indican menos cálculo, pero no demuestran por sí solas una reducción de la memoria almacenada.

En los sistemas probados, el entrenamiento acortó un calendario de decodificación compartido, la aceptación temprana redujo el refinamiento de tokens de video seleccionados y varias actualizaciones entrenadas de forma independiente combinaron la generación en pocos pasos con la transmisión. La opción adecuada depende de la demora que afronta un producto y de la calidad medida en su propio contexto.

Imagina una aplicación que debe describir una imagen rápidamente y después generar video mientras continúa una conversación. Una larga secuencia de pasos de decodificación puede retrasar la descripción. En un video, algunas zonas pueden estabilizarse mientras otras siguen cambiando; además, un clip que solo aparece cuando todos sus fotogramas están completos no permite la misma interacción que una transmisión en directo.

Los estudios de aquí examinan estas fuentes concretas de demora en distintos sistemas. Por eso, sus resultados responden preguntas de diseño relacionadas, en lugar de formar una única competición de velocidad.

Un paso de decodificación o eliminación de ruido es otra pasada en la que un generador revisa la salida que propone. El modelo de texto e imágenes estudiado aquí completa posiciones enmascaradas en pasos sucesivos.

El modelo de video refina repetidamente las estimaciones de partes de un nuevo fragmento. Un tercer sistema produce fragmentos de audio y video en secuencia, de modo que puede emitir uno ya terminado mientras sigue creando los siguientes.

La pregunta común es dónde ayuda cambiar ese trabajo cuando existe un límite concreto de latencia, es decir, del tiempo que tarda en llegar la respuesta.

Hay tres puntos donde se puede intervenir. El entrenamiento puede enseñar a un modelo a recorrer su trayectoria habitual en menos pasos, modificando el calendario de pasos que aplica a toda una salida.

Durante la generación, un sistema puede dejar de revisar partes que considera listas y seguir trabajando en las demás. O bien, un modelo de pocos pasos puede incorporar transmisión por fragmentos, para que la primera salida llegue antes de que termine la secuencia completa.

Cada propuesta modifica una parte distinta de la generación y necesita pruebas para la tarea y el presupuesto en que se vaya a utilizar.