RynnUnify relie prédiction vidéo et planification à long terme
RynnUnify: Towards Unified Embodied Brain · arXiv:2610.32965
En termes simples
L’article présente RynnUnify, un modèle qui raisonne sur le monde physique et prédit des vidéos pour planifier une tâche en plusieurs étapes. Il planifie une sous-tâche, prédit à quoi la scène pourrait ressembler après celle-ci, puis utilise cette prédiction pour préparer la suite.
Un modèle supplémentaire peut s’appuyer sur une vidéo prédite pour répondre à des questions sur des états futurs qui ne sont pas visibles. Lors d’un test vérifiant si les plans visuels à long terme correspondent à la tâche et aux étapes précédentes, RynnUnify a obtenu 9.75 points de plus que Cosmos 3 Nano.
L’article rapporte aussi des résultats de commande robotique sur certaines tâches simulées et trois tâches avec de vrais robots.
La recherche
Quand la prochaine décision d’un robot dépend de changements qui ne se sont pas encore produits, un modèle peut-il relier son plan à une prédiction utile de l’apparence future de la scène ?
C’est difficile sur de nombreuses étapes, car les erreurs de prédiction peuvent s’accumuler et les prédictions visuelles statiques peuvent manquer les mouvements entre deux étapes.
RynnUnify relie les plans de sous-tâches d’un module de raisonnement à des prédictions vidéo, puis utilise chaque résultat anticipé pour guider l’étape suivante d’un plan visuel à long terme.
Les auteurs introduisent Rynn-VP, un test qui vérifie si des plans visuels restent cohérents avec la tâche et les opérations précédentes sur de longues séquences. Au score global, RynnUnify a obtenu 9.75 points de plus que Cosmos 3 Nano.
Cela étaye de meilleures performances à ce test de planification, même si les extraits fournis ne précisent pas les détails de notation.
Rynn-GEU pose des questions sur les conséquences d’actions, les changements physiques et les relations spatiales qui ne sont pas visibles dans l’entrée. Pour les mêmes questions, le score moyen de l’extension agentique a dépassé de 6.0 points celui du raisonnement direct, ce qui étaye l’intérêt du raisonnement assisté par vidéo pour ces états invisibles.
Les comparaisons de scores se limitent aux modèles et aux questions évalués ; les extraits fournis ne détaillent pas entièrement les méthodes de notation ni l’entraînement.
Les résultats de commande robotique portent sur 20 tâches simulées sélectionnées et trois tâches avec de vrais robots, et ne s’étendent pas à d’autres tâches ou robots.
Ce que montrent les preuves
- Planifier dans des scènes changeantes
Les tâches robotiques longues exigent plus que la reconnaissance d’une scène : un modèle doit anticiper les changements physiques et en tenir compte dans ses décisions ultérieures.
L’article souligne la difficulté de relier ces étapes, car les erreurs de prédiction peuvent s’accumuler et les prédictions visuelles statiques peuvent manquer les mouvements intermédiaires.
- Relier plans et prédictions
RynnUnify est un modèle unifié conçu pour agir dans le monde physique. Il associe un module de raisonnement à un générateur vidéo. Le premier planifie une sous-tâche et décrit l’évolution visuelle attendue ; le second prédit une vidéo, dont le résultat fournit le contexte de la sous-tâche suivante. Le modèle relie ainsi les plans aux changements prédits de la scène, étape après étape.
- Évaluer les plans visuels à long terme
Pour évaluer la planification visuelle sur de longues séquences, les auteurs introduisent Rynn-VP, un test qui vérifie si les plans restent cohérents avec la tâche et les opérations précédentes. Le score global de RynnUnify a dépassé celui de Cosmos 3 Nano de 9.75 points.
Cela indique de meilleures performances à ce test ; les extraits fournis ne précisent pas les autres détails de notation.
- Raisonner sur des états invisibles
Pour les questions portant sur des états qui ne sont pas directement visibles dans l’entrée, Rynn-GEU évalue le raisonnement sur les conséquences des actions, les changements physiques et les relations spatiales. L’extension agentique des auteurs peut répondre directement ou utiliser une vidéo générée par RynnUnify.
Pour les mêmes questions, son score moyen a dépassé de 6.0 points celui du raisonnement direct, ce qui étaye l’intérêt de l’aide vidéo pour répondre à ce test.
- Évaluer la commande robotique
Une extension orientée vers les actions dans le monde physique adapte le modèle complet à la commande de robots. En simulation, elle a réussi 51.5% de 20 tâches composites sélectionnées de RoboCasa365 ; sur trois tâches avec de vrais robots, son taux de réussite moyen était de 46.7%.
Ces résultats décrivent les contextes évalués ; le résultat simulé porte sur une sélection de tâches, et non sur toute la collection.
Détails
- Auteurs de l’article original
- Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang
- Soumis à arXiv
- Licence
- CC BY 4.0