RynnUnify vincula la predicción de video con la planificación a largo plazo
RynnUnify: Towards Unified Embodied Brain · arXiv:2610.32965
En palabras sencillas
El artículo presenta RynnUnify, un modelo que razona sobre el mundo físico y predice videos para planificar tareas de varios pasos. Primero planifica una subtarea y predice cómo podría verse la escena después; luego usa esa predicción para planificar el paso siguiente.
Un modelo adicional puede usar videos predichos para responder preguntas sobre estados futuros que aún no se ven. En una prueba sobre si los planes visuales largos se ajustan a la tarea y a los pasos anteriores, RynnUnify obtuvo 9,75 puntos más que Cosmos 3 Nano.
El artículo también informa resultados de control robótico en tareas simuladas seleccionadas y en tres tareas con robots reales.
La investigación
Cuando la siguiente decisión de un robot depende de cambios que aún no han ocurrido, ¿puede un modelo conectar su plan con una predicción útil de cómo se verá la escena?
Mantener esa conexión durante muchos pasos es difícil porque los errores de predicción pueden acumularse y las predicciones visuales estáticas pueden pasar por alto el movimiento entre ellos.
RynnUnify vincula los planes de subtareas de un módulo de razonamiento con predicciones de video y usa cada resultado predicho para orientar el siguiente paso de un plan visual largo.
Los autores presentan Rynn-VP, una prueba que evalúa si los planes visuales se mantienen coherentes con la tarea y las acciones anteriores a lo largo de secuencias extensas. En la medida total, RynnUnify obtuvo 9,75 puntos más que Cosmos 3 Nano.
Esto respalda un mejor rendimiento en esa prueba de planificación, aunque el relato proporcionado no detalla cómo se calcularon las puntuaciones.
Rynn-GEU plantea preguntas sobre consecuencias de acciones, cambios físicos y relaciones espaciales que no son visibles en la entrada.
Ante las mismas preguntas, la puntuación media de la extensión con capacidades de agente superó en 6,0 puntos a la del razonamiento directo, lo que respalda el uso de razonamiento asistido por video para estos estados no visibles.
Las comparaciones de puntuación se limitan a los modelos y las preguntas evaluados; los pasajes proporcionados no detallan por completo cómo se calcularon las puntuaciones ni el entrenamiento.
Los resultados de control robótico abarcan 20 tareas simuladas seleccionadas y tres tareas con robots reales, no otras tareas ni otros robots.
Qué muestran las pruebas
- Planificar mientras cambia la escena
Las tareas robóticas largas requieren más que reconocer una escena: el modelo debe anticipar cambios físicos y tenerlos en cuenta en decisiones posteriores.
El artículo señala la dificultad de conectar esos pasos, porque los errores de predicción pueden acumularse y las predicciones visuales estáticas pueden pasar por alto el movimiento intermedio.
- Vincular planes y predicciones
RynnUnify es un modelo unificado para el mundo físico que combina un módulo de razonamiento con un generador de video. El módulo planifica una subtarea y describe cómo espera que evolucione visualmente la escena; el generador predice un video y ese resultado aporta contexto para la siguiente subtarea.
Así, el modelo vincula los planes con los cambios predichos de la escena a lo largo de pasos sucesivos.
- Evaluar planes visuales largos
Para evaluar la planificación visual a largo plazo, los autores presentan Rynn-VP, una prueba que mide si los planes se mantienen coherentes con la tarea y las acciones anteriores.
La puntuación total de RynnUnify fue 9,75 puntos mayor que la de Cosmos 3 Nano. Esto aporta evidencia de un mejor rendimiento en esa prueba, aunque los pasajes proporcionados no detallan otros aspectos de la puntuación.
- Razonar sobre estados no visibles
Para preguntas sobre estados que no se ven directamente en la entrada, Rynn-GEU evalúa el razonamiento sobre consecuencias de acciones, cambios físicos y relaciones espaciales. La extensión con capacidades de agente de los autores puede responder directamente o usar videos generados por RynnUnify.
En las mismas preguntas, su puntuación media superó en 6,0 puntos a la del razonamiento directo, lo que respalda una ventaja de las respuestas asistidas por video en esta prueba.
- Evaluar el control robótico
Una extensión world-action adapta el modelo completo al control de robots. En simulación, tuvo éxito en el 51,5 % de 20 tareas compuestas seleccionadas de RoboCasa365; en tres tareas con robots reales, su tasa media de éxito fue del 46,7 %. Estos resultados muestran su rendimiento en los entornos reportados; el resultado simulado abarca tareas seleccionadas, no toda la colección.
Detalles
- Autores del paper original
- Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang
- Enviado a arXiv
- Licencia
- CC BY 4.0