Adapter le changement de génération au problème de latence

Un générateur visuel peut passer du temps à affiner toute une sortie, à reprendre des parties qui semblent déjà stabilisées ou à attendre la fin d’un clip avant de montrer quoi que ce soit.

Ces délais appellent des changements différents. Un nombre réduit d’évaluations de débruitage décrit une baisse du calcul ; il n’établit pas à lui seul une réduction de la mémoire stockée.

Dans les systèmes testés, l’entraînement a raccourci un calendrier de décodage commun, l’acceptation précoce a réduit l’affinement de certains jetons vidéo et des mises à jour entraînées indépendamment ont combiné une génération en quelques étapes avec la diffusion en continu.

Le choix utile dépend du délai auquel un produit est confronté et de la qualité mesurée dans son propre contexte.

Imaginons une application qui doit décrire rapidement une image, puis générer une vidéo au fil de la conversation. Une longue suite d’étapes de décodage peut retarder la description.

Dans une vidéo, certaines zones peuvent se stabiliser tandis que d’autres continuent de changer ; un clip qui n’apparaît qu’une fois toutes ses images terminées ne permet pas la même interaction qu’un flux diffusé au fur et à mesure.

Les études présentées ici examinent ces sources concrètes de délai dans différents systèmes. Leurs résultats répondent donc à des questions de conception liées, plutôt que de constituer un concours de vitesse unique.

Une étape de décodage ou de débruitage est un passage supplémentaire pendant lequel un générateur révise la sortie qu’il propose. Le modèle de texte et d’image étudié ici remplit les positions masquées en plusieurs étapes.

Le modèle vidéo affine à plusieurs reprises ses estimations pour différentes parties d’un nouveau segment. Un troisième système produit successivement des segments audio et vidéo, de sorte qu’un segment terminé peut être diffusé pendant que les suivants sont encore en cours de création. La question commune est de savoir où modifier ce travail aide à respecter une contrainte de latence donnée.

Il y a trois endroits où intervenir. L’entraînement peut apprendre à un modèle à parcourir son cheminement habituel en moins d’étapes, en modifiant le calendrier appliqué à l’ensemble de la sortie.

Pendant la génération, un système peut cesser de réviser les parties jugées prêtes et poursuivre le travail sur les autres. Enfin, un modèle fonctionnant en quelques étapes peut être adapté à une diffusion segment par segment, afin que la première sortie arrive avant que toute la séquence soit terminée. Chaque proposition modifie une partie différente de la génération et doit être évaluée pour la tâche et le budget auxquels elle est destinée.