FR
WorldCast préserve la cohérence des personnages lors des grands mouvements de caméra
WorldCast: World-Consistent Character Video Generation with Large-Angle Camera Control · arXiv:2610.33135
En termes simples
Quand une vidéo suit une caméra qui tourne largement autour d’un personnage, elle peut perdre le fil du parcours demandé ou modifier l’apparence du personnage. WorldCast est un système de génération vidéo qui utilise l’image de départ pour guider le mouvement de caméra et d’autres vues du personnage pour compléter ce que l’image initiale ne montre pas.
Dans l’évaluation CLACT des auteurs, WorldCast obtient les meilleurs scores parmi les méthodes présentées pour les erreurs de parcours de caméra et plusieurs mesures de cohérence du personnage. Ses scores de qualité visuelle sont compétitifs, mais ne sont pas les meilleurs pour toutes les mesures.
La recherche
Quand la caméra se déplace largement autour d’un personnage, un générateur vidéo doit suivre le parcours demandé tout en préservant la cohérence du personnage, y compris sur les côtés absents de l’image de départ. Comment une même méthode peut-elle répondre à ces deux exigences lorsque le point de vue change ?
WorldCast combine des indications 3D rendues et des vues alignées du personnage pour suivre de grands parcours de caméra et préserver sa cohérence entre les points de vue.
Une vidéo de personnage générée peut-elle suivre une caméra qui s’éloigne largement du point de vue initial sans dévier ni modifier le personnage ?
WorldCast combine des indications rendues à partir de l’image de départ avec des informations sur le personnage récupérées depuis d’autres points de vue.
Sur CLACT, les auteurs comparent les méthodes à l’aide de parcours cibles communs et d’un protocole d’évaluation partagé.
Parmi les méthodes présentées, WorldCast obtient les meilleurs scores pour les erreurs de parcours de caméra et plusieurs mesures de cohérence du personnage, ce qui étaye l’approche dans ces tests ; sa qualité visuelle est compétitive, sans être systématiquement la meilleure.
L’évaluation porte sur 42 scènes et six trajectoires définies à l’avance par scène. Elle n’établit pas les performances dans des scènes dynamiques plus complexes, ni sur des parcours de caméra plus longs ou interactifs.
Ce que montrent les preuves
- Deux difficultés liées à la génération
WorldCast est un système de génération vidéo conçu pour suivre de grands parcours de caméra tout en préservant la forme, l’apparence et l’identité d’un personnage.
Les changements importants de point de vue posent deux problèmes liés : la vidéo peut s’écarter du parcours de caméra demandé, tandis que l’image de départ ne contraint pas les parties du personnage qui deviennent visibles.
- Évaluer les changements de vue
Les auteurs présentent CLACT, un jeu de données centré sur les personnages et un banc d’évaluation de la maîtrise des grands angles de caméra et de la cohérence des personnages. L’évaluation utilise 42 scènes synthétiques et réelles, chacune associée à six trajectoires de caméra définies à l’avance.
Elle mesure si les vidéos générées suivent le mouvement demandé et préservent la cohérence du personnage lorsque le point de vue change.
- Ce que montre la comparaison
Sur CLACT, les méthodes présentées reçoivent les mêmes trajectoires cibles, adaptées à leur format d’entrée. Un protocole commun mesure les erreurs de parcours de caméra et la cohérence du personnage entre les vues. WorldCast obtient les meilleurs scores rapportés parmi ces méthodes pour les erreurs de parcours, la géométrie entre les vues et les similarités d’identité ou d’apparence. Ses scores de qualité visuelle sont compétitifs, sans être les meilleurs pour toutes les mesures.
- Évaluer la branche mémoire
Les auteurs suppriment aussi toute la branche GAMA de WorldCast. Dans cette ablation, chacune des mesures rapportées de contrôle de caméra, de cohérence du personnage et de qualité visuelle se dégrade par rapport à la configuration complète.
Ce résultat étaye le rôle de la branche dans son ensemble, mais le test n’isole pas ses composants internes.
- Un résultat d’entraînement circonscrit
Une ablation distincte, menée avant l’adaptation GAMA, montre que l’exclusion de la collection de mouvements de caméra UE5 dégrade les trois erreurs de caméra, par rapport à l’étape 1 complète.
Ce résultat étaye la contribution de cette collection à l’entraînement du contrôle de caméra lors de la première étape, mais n’établit pas son effet isolé dans le système final.
Détails
- Auteurs de l’article original
- Lei Cao, Yu Liu, Wenhua Liao, Peng Zhang, Fei Wang
- Soumis à arXiv
- Licence
- arXiv non-exclusive