ES
Un método de video usa la forma 3D para mantener la coherencia de los sujetos
OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images · arXiv:2610.35684
En palabras sencillas
Un video creado a partir de unas pocas imágenes puede mostrar lados de un objeto que no aparecen en ninguna de ellas. Este artículo presenta OmniShowcase, un método que añade a las imágenes una forma 3D reconstruida y usa videos de entrenamiento creados a partir de objetos 3D compartidos.
En dos evaluaciones, sus videos obtuvieron mejores puntuaciones que cuatro alternativas en medidas de identidad del sujeto y coherencia de la forma entre distintas vistas. Las pruebas abarcan colecciones específicas de sujetos, así que el resultado no significa que todos los videos generados mantengan la identidad del sujeto perfectamente.
La investigación
Cuando un video generado muestra un sujeto de espaldas a la cámara, pueden aparecer superficies que nunca se veían en las imágenes de referencia. ¿Puede el generador mantener una apariencia y una forma coherentes en esas nuevas vistas?
Este artículo evalúa si añadir información explícita sobre la forma 3D puede ayudar a responder esa pregunta.
OmniShowcase combina videos de entrenamiento creados a partir de modelos 3D con una condición de forma reconstruida para ayudar a que los videos de sujetos mantengan la coherencia entre vistas.
Los autores compararon OmniShowcase con cuatro alternativas y dieron a cada una cuatro imágenes de referencia. En pruebas de identidad del sujeto y coherencia de la forma al cambiar las vistas, midieron la similitud con las referencias y la coherencia con otras vistas o con la forma de referencia.
OmniShowcase encabezó las medidas reportadas de identidad y coherencia 3D tanto en ShowcaseBench, con 50 sujetos, como en NAVI, con 35. Esto respalda una mayor coherencia medida en estas evaluaciones, pero el rendimiento con otros sujetos y videos no se evaluó.
Estas comparaciones abarcan dos colecciones de sujetos evaluadas, y los métodos difieren en cómo generan los videos; además, 3DreamBooth se optimiza para cada sujeto.
La condición de geometría estática no maneja sujetos que cambian de pose entre las vistas de referencia, y el artículo informa que los fondos generados pueden parecer sintéticos.
Qué muestran las pruebas
- El problema de los lados ocultos
OmniShowcase es un método para generar un video a partir de imágenes de referencia de un sujeto y una indicación de texto. El reto principal es que una cámara en movimiento puede mostrar superficies ausentes en las referencias, por lo que el generador debe inferir su aspecto y cómo encajan en la forma 3D del sujeto.
Más vistas de referencia aportan más información sobre la apariencia, pero por sí solas no especifican una única forma compartida.
- Vincular las vistas a una forma
El método aborda esa brecha en dos partes. Durante el entrenamiento, representa un sujeto de un mismo modelo 3D a lo largo de una trayectoria de cámara, de modo que su apariencia y forma se mantengan vinculadas entre vistas.
Durante la generación, reconstruye la geometría a partir de las cuatro imágenes de referencia y proporciona, junto con ellas, una secuencia giratoria de mapas de normales de superficie. Esa secuencia describe la forma sin exigir que cada fotograma esté alineado con la trayectoria de cámara solicitada.
- Qué muestran las evaluaciones
Los autores compararon OmniShowcase con otros cuatro métodos y dieron a cada uno cuatro imágenes de referencia. En ShowcaseBench, que evalúa 50 sujetos cuyos modelos 3D no se usaron para el entrenamiento, y en NAVI, con 35 sujetos, midieron la identidad y la coherencia 3D, además de la correspondencia con la indicación y la calidad del video.
OmniShowcase encabezó las medidas reportadas de identidad y coherencia 3D en ambas colecciones. Estos resultados corresponden a esas colecciones y no garantizan el rendimiento de cada video.
- Evaluar la condición geométrica
Una comparación controlada aparte ayuda a evaluar el papel de la condición geométrica. Los autores entrenaron variantes sin geometría, con una representación coloreada de la forma o con una secuencia giratoria menos densa, usando la misma inicialización, arquitectura base y datos de entrenamiento; luego las evaluaron en el mismo paso de entrenamiento.
La secuencia completa de mapas de normales de superficie obtuvo mejores puntuaciones en varias medidas de identidad y 3D, aunque algunas alternativas encabezaron ciertas medidas auxiliares. La comparación respalda que la condición contribuye a los resultados en esta configuración.
Detalles
- Autores del paper original
- Junyeong Ahn, Geonwoo Kim, Kinam Kim, Gihwi Kim, Hoonjin Jung
- Enviado a arXiv
- Licencia
- CC BY 4.0