ES
Un sistema genera video en cuatro pasos con formatos de escena nuevos
SolarRenderer: Few-Step Generative Reference Rendering · arXiv:2610.28630
En palabras sencillas
D SolarRenderer convierte un video que muestra la disposición de una escena, sus movimientos y la dirección de la cámara en imágenes realistas. Usa un adaptador pequeño para seguir distintos tipos de entrada estructural y luego entrena un segundo adaptador para generar video en cuatro pasos.
En comparaciones de 74 casos con formatos ausentes del entrenamiento, siguió la estructura mejor en conjunto que otro sistema de generación. Algunos formatos concretos siguieron favoreciendo la versión más lenta de 50 pasos, así que el resultado no abarca todos los formatos nuevos.
La investigación
Cuando ya se especifican la disposición, el movimiento y la cámara de una escena, ¿puede un solo sistema convertir distintos tipos de entrada estructural en video realista sin necesitar un modelo aparte para cada formato?
La estructura por sí sola no aporta la apariencia necesaria para que el resultado parezca un video terminado.
D SolarRenderer adapta un modelo de video cuyos parámetros principales permanecen fijos para seguir distintas entradas estructurales y luego entrena un adaptador independiente para generar en cuatro pasos.
D SolarRenderer adapta un modelo de video cuyos parámetros principales permanecen fijos para convertir videos estructurales en imágenes realistas y luego entrena un adaptador independiente para generar en cuatro pasos.
Para evaluar cómo sigue la estructura, Gemini 3.8 Flash compara pares de videos generados según la calidad visual, el seguimiento estructural, la conservación del primer fotograma y la preferencia general.
En la prueba de generalización, D SolarRenderer empata con LynnReal-Omni en la puntuación Elo general y obtiene una puntuación más alta en seguimiento estructural. Con formatos conocidos, sus puntuaciones generales y de estructura son más altas en la prueba correspondiente.
Estos juicios agregados por pares respaldan la conclusión de que el sistema puede seguir distintas estructuras en cuatro pasos, incluidos los formatos evaluados que estaban ausentes del entrenamiento.
La prueba de generalización abarca 208 casos extraídos de 57 videos estructurales y no cuenta con videos de referencia para una comparación directa. En algunos formatos desconocidos concretos, se prefirió la versión de 50 pasos al modelo de cuatro pasos.
Qué muestran las pruebas
- Generar video desde la estructura de una escena
D SolarRenderer es un sistema de generación de video guiado por estructura. Adapta un modelo de generación de video cuyos parámetros principales permanecen fijos para convertir videos estructurales —que especifican la disposición de la escena, el movimiento y la cámara— en imágenes realistas.
La pregunta es cómo seguir estas distintas entradas estructurales y, a la vez, generar los detalles de apariencia que no especifican.
- Probar formatos de entrada nuevos
La prueba de generalización del artículo pregunta si el sistema puede procesar formatos ausentes del entrenamiento. Gemini 3.8 Flash compara pares de videos generados según la calidad visual, el seguimiento de la estructura y el movimiento, la conservación del primer fotograma y la preferencia general.
Los autores resumen estos juicios por pares con puntuaciones Elo, en las que una puntuación más alta indica una preferencia más fuerte en la comparación ajustada.
- Comparar los juicios sobre los sistemas
Frente a LynnReal-Omni, D SolarRenderer empata en la puntuación Elo general de la prueba de generalización, pero obtiene una puntuación de estructura más alta: 1338 frente a 1241. En la prueba con formatos conocidos, que incluye 53 clips con videos de referencia, su puntuación general es 1510 frente a 1410, y la de estructura es 1386 frente a 1295. Son puntuaciones agregadas, no resultados de cada clip.
- Comprobar estructuras desconocidas
Los 74 casos con formatos ausentes del entrenamiento permiten comprobar la transferencia de forma más específica. D SolarRenderer obtiene una puntuación de estructura más alta que LynnReal-Omni, 1360 frente a 1275, y supera a su versión de 50 pasos en las cuatro preguntas del evaluador para este subconjunto.
Sin embargo, algunos formatos concretos favorecen el muestreo completo, así que el resultado agregado no significa que todos los formatos desconocidos se beneficien.
- Evaluar la guía estructural
Un control DMAD-start compara el entrenamiento posterior de aceleración guiado con la ausencia de entrenamiento posterior y con el entrenamiento posterior sin guía. En la prueba de generalización, la versión guiada obtiene una puntuación general de 1156, frente a 1024 y 820, respectivamente.
Otro control de autodestilación también favorece la guía, pero actualiza un adaptador distinto; por tanto, los dos controles respaldan la guía en procedimientos de entrenamiento diferentes.
Detalles
- Autores del paper original
- Guian Fang, Shengju Qian, Dongyue Lu, Junchao Huang, Lutao Jiang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive