FR
Une méthode vidéo utilise la 3D pour préserver la cohérence des sujets
OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images · arXiv:2610.35684
En termes simples
Une vidéo créée à partir de quelques images peut montrer des côtés d’un objet qu’aucune de ces images ne révèle. Cet article présente OmniShowcase, une méthode qui ajoute aux images une forme 3D reconstituée et s’appuie sur des vidéos d’entraînement créées à partir d’objets 3D partagés. Dans deux évaluations, ses vidéos ont obtenu de meilleurs scores que quatre autres méthodes pour l’identité du sujet et la cohérence de sa forme d’un point de vue à l’autre.
Les tests portent sur des collections précises de sujets : ils ne signifient donc pas que chaque vidéo générée conserve parfaitement son sujet.
La recherche
Quand une vidéo générée tourne un sujet, elle peut révéler des surfaces absentes des images de référence. Le générateur peut-il préserver l’apparence et la forme du sujet à travers ces nouveaux points de vue ?
Cet article évalue si l’ajout d’informations explicites sur la forme 3D peut aider à répondre à cette question.
OmniShowcase associe des vidéos d’entraînement rendues en 3D à une condition de forme reconstituée pour aider les vidéos générées à préserver la cohérence du sujet d’un point de vue à l’autre.
Les auteurs ont comparé OmniShowcase à quatre autres méthodes, chacune recevant quatre images de référence.
Pour évaluer l’identité du sujet et la cohérence de sa forme lorsque le point de vue change, ils ont mesuré la ressemblance avec les images de référence et la cohérence entre les vues ou avec la forme de référence.
OmniShowcase a obtenu les meilleurs scores rapportés pour l’identité et la cohérence 3D, à la fois sur ShowcaseBench, qui comprend 50 sujets, et sur NAVI, qui en comprend 35.
Cela étaye une meilleure cohérence mesurée dans ces évaluations ; les performances sur d’autres sujets et vidéos n’ont pas été évaluées.
Ces comparaisons portent sur deux collections de sujets évaluées, et les méthodes diffèrent dans leur façon de générer les vidéos ; 3DreamBooth optimise aussi chaque sujet. La condition de géométrie statique ne prend pas en charge les sujets qui changent de pose d’une vue de référence à l’autre. L’article indique également que les arrière-plans générés peuvent paraître artificiels.
Ce que montrent les preuves
- Les côtés invisibles
OmniShowcase génère une vidéo à partir d’images de référence et d’une consigne textuelle.
Le défi est qu’une caméra en mouvement peut révéler des surfaces absentes des images de référence : le générateur doit alors déduire leur apparence et leur place dans la forme 3D du sujet. Des vues de référence supplémentaires donnent davantage d’informations sur l’apparence, mais ne définissent pas à elles seules une forme unique partagée.
- Relier les vues à une même forme
La méthode comble cette lacune en deux étapes. Pendant l’entraînement, elle rend un sujet issu d’un même modèle 3D le long d’un parcours de caméra, de sorte que son apparence et sa forme restent liées d’une vue à l’autre.
Lors de la génération, elle reconstitue la géométrie à partir des quatre images de référence et fournit, avec ces images, un tour complet de cartes de normales de surface. Ce tour décrit la forme sans exiger un alignement image par image sur le parcours de caméra demandé.
- Ce que montrent les évaluations
Les auteurs ont comparé OmniShowcase à quatre autres méthodes, chacune recevant quatre images de référence.
Sur ShowcaseBench, qui teste 50 sujets dont les modèles 3D n’ont pas servi à l’entraînement, et sur NAVI, qui comprend 35 sujets, ils ont mesuré l’identité et la cohérence 3D, ainsi que la correspondance avec la consigne et la qualité vidéo. OmniShowcase a obtenu les meilleurs scores rapportés pour l’identité et la cohérence 3D dans les deux collections. Ces résultats concernent ces collections et ne garantissent pas la qualité de chaque vidéo.
- Vérifier le rôle de la géométrie
Une comparaison contrôlée aide à évaluer le rôle de la condition de géométrie. Les auteurs ont entraîné des variantes sans géométrie, avec un rendu coloré de la forme ou avec un tour plus clairsemé, en conservant la même initialisation, la même architecture de base et les mêmes données d’entraînement.
Ils les ont ensuite évaluées à la même étape d’entraînement. Le tour complet de cartes de normales de surface a obtenu de meilleurs scores sur plusieurs mesures d’identité et 3D, même si certaines variantes ont devancé la méthode sur des mesures auxiliaires. Dans ce cadre, la comparaison étaye une contribution de cette condition.
Détails
- Auteurs de l’article original
- Junyeong Ahn, Geonwoo Kim, Kinam Kim, Gihwi Kim, Hoonjin Jung
- Soumis à arXiv
- Licence
- CC BY 4.0