FR
Un système de rendu vidéo suit de nouveaux formats de scène en quatre étapes
SolarRenderer: Few-Step Generative Reference Rendering · arXiv:2610.28630
En termes simples
D SolarRenderer transforme une vidéo qui décrit la disposition d’une scène, les mouvements et la direction de la caméra en images réalistes. Un petit module lui permet de suivre différents types d’entrées structurelles, puis un second module est entraîné à produire la vidéo en quatre étapes.
Dans les comparaisons portant sur 74 cas aux formats absents de l’entraînement, il a mieux suivi la structure qu’un autre système, en moyenne. Certains formats pris individuellement favorisaient toutefois la version plus lente à 50 étapes : le résultat ne couvre donc pas tous les nouveaux formats.
La recherche
Quand la disposition d’une scène, ses mouvements et la caméra sont déjà définis, un seul système peut-il transformer différents types d’entrées structurelles en vidéos réalistes sans avoir besoin d’un modèle distinct pour chaque format ? La structure seule ne fournit pas l’apparence qui donne à la vidéo son aspect fini.
D SolarRenderer adapte un modèle vidéo fixe à différentes entrées structurelles, puis entraîne un module distinct pour produire des rendus en quatre étapes.
D SolarRenderer adapte un modèle vidéo dont les paramètres principaux restent fixes pour transformer des vidéos structurelles en séquences réalistes, puis entraîne un module distinct pour générer les rendus en quatre étapes.
Pour évaluer le respect de la structure, Gemini 3.8 Flash compare des paires de rendus selon leur qualité visuelle, leur respect de la structure, la préservation de la première image et la préférence globale.
Au test de généralisation, D SolarRenderer obtient la même note Elo globale que LynnReal-Omni et une note supérieure pour le respect de la structure. Sur les formats connus, ses notes globales et de structure sont plus élevées au test correspondant.
Ces jugements agrégés par paires étayent l’idée que le système peut suivre différentes structures en quatre étapes, y compris dans les formats testés qui étaient absents de l’entraînement.
Le test de généralisation porte sur 208 cas issus de 57 vidéos structurelles et ne dispose pas de vidéos de référence pour une comparaison directe. Pour certains formats inhabituels pris individuellement, la version à 50 étapes a été préférée au modèle à quatre étapes.
Ce que montrent les preuves
- Rendre une vidéo à partir de la structure d’une scène
D SolarRenderer est un système de rendu vidéo guidé par la structure. Il adapte un modèle vidéo dont les paramètres principaux restent fixes afin de transformer des vidéos structurelles, qui décrivent la disposition d’une scène, les mouvements et la caméra, en séquences réalistes.
La question est de savoir comment suivre ces différentes entrées tout en générant les détails visuels qu’elles ne précisent pas.
- Tester de nouveaux formats d’entrée
Le test de généralisation de l’article cherche à déterminer si le système peut traiter des formats absents de l’entraînement.
Gemini 3.8 Flash compare des paires de rendus selon leur qualité visuelle, leur respect de la structure et du mouvement, la préservation de la première image et la préférence globale. Les auteurs résument ces jugements par paires au moyen de notes Elo : une note plus élevée indique une préférence plus forte dans la comparaison ajustée.
- Comparer les jugements sur les rendus
Face à LynnReal-Omni, D SolarRenderer obtient la même note Elo globale au test de généralisation, mais sa note de structure est supérieure : 1338 contre 1241. Au test sur des formats connus, qui comprend 53 séquences avec des vidéos de référence, sa note globale est de 1510 contre 1410, et sa note de structure de 1386 contre 1295. Ces notes agrégées ne décrivent pas les résultats de chaque séquence.
- Vérifier le transfert à des structures inhabituelles
Les 74 cas dont les formats étaient absents de l’entraînement permettent de vérifier plus directement le transfert. D SolarRenderer obtient une meilleure note de structure que LynnReal-Omni, 1360 contre 1275, et fait mieux que sa version à 50 étapes sur les quatre questions de l’évaluateur dans ce sous-ensemble.
Cependant, certains formats pris individuellement favorisent l’échantillonnage complet : le résultat agrégé ne signifie donc pas que chaque format inhabituel en bénéficie.
- Tester le rôle du guidage structurel
Un contrôle DMAD-start compare l’entraînement supplémentaire guidé pour l’accélération à l’absence d’entraînement supplémentaire et à un entraînement supplémentaire sans guidage. La version guidée obtient une note globale de 1156, contre 1024 et 820 respectivement au test de généralisation.
Un contrôle distinct fondé sur l’auto-distillation favorise lui aussi le guidage, mais met à jour un autre module : les deux contrôles étayent donc le rôle du guidage dans des procédures d’entraînement différentes.
Détails
- Auteurs de l’article original
- Guian Fang, Shengju Qian, Dongyue Lu, Junchao Huang, Lutao Jiang
- Soumis à arXiv
- Licence
- arXiv non-exclusive