RynnUnify collega la previsione video alla pianificazione estesa
RynnUnify: Towards Unified Embodied Brain · arXiv:2610.32965
In parole semplici
Il paper presenta RynnUnify, un modello che ragiona sul mondo fisico e prevede video per pianificare un’attività in più passaggi. Pianifica una sottoattività, prevede come potrebbe apparire la scena dopo, poi usa quella previsione per decidere il passaggio successivo.
Un modello aggiuntivo può usare i video previsti per rispondere a domande su stati futuri non visibili. In un test che valuta se i piani visivi estesi restano coerenti con l’attività e con i passaggi precedenti, RynnUnify ha ottenuto 9.75 punti in più di Cosmos 3 Nano.
Il paper riporta anche risultati sul controllo dei robot in attività simulate selezionate e in tre attività con robot reali.
La ricerca
Quando la decisione successiva di un robot dipende da cambiamenti che non sono ancora avvenuti, un modello può collegare il proprio piano a una previsione utile di come apparirà la scena?
È difficile farlo lungo molti passaggi, perché gli errori di previsione possono accumularsi e le previsioni visive statiche possono non cogliere i movimenti intermedi.
RynnUnify collega i piani del modulo di ragionamento sulle sottoattività alle previsioni video e usa ogni esito previsto per informare il passaggio successivo di un piano visivo esteso.
Gli autori introducono Rynn-VP, un test che valuta se i piani visivi restano coerenti con l’attività e con le operazioni precedenti lungo sequenze estese. RynnUnify ha ottenuto 9.75 punti in più di Cosmos 3 Nano nella misura complessiva.
Questo sostiene prestazioni superiori in quel test di pianificazione, anche se il resoconto fornito non specifica i dettagli della valutazione.
Rynn-GEU pone domande sulle conseguenze delle azioni, sui cambiamenti fisici e sulle relazioni spaziali non visibili nell’input.
Sulle stesse domande, il punteggio medio dell’estensione agentica è stato di 6.0 punti superiore a quello del ragionamento diretto: il confronto sostiene l’utilità del ragionamento assistito da video per questi stati non visibili.
I confronti dei punteggi riguardano solo i modelli e le domande valutati; i passaggi forniti non descrivono per intero i metodi di valutazione né i dettagli dell’addestramento.
I risultati sul controllo dei robot coprono 20 attività simulate selezionate e tre attività con robot reali, non altre attività o altri robot.
Cosa mostrano le prove
- Pianificare mentre la scena cambia
Le attività robotiche estese richiedono più che riconoscere una scena: un modello deve anticipare i cambiamenti fisici e usarli nelle decisioni successive.
Il paper individua una difficoltà nel mantenere collegati questi passaggi, perché gli errori di previsione possono accumularsi e le previsioni visive statiche possono non cogliere i movimenti intermedi.
- Collegare i piani alle previsioni
RynnUnify è un modello embodied unificato che combina un modulo di ragionamento con un generatore video. Il modulo pianifica una sottoattività e descrive come dovrebbe evolvere la scena; il generatore prevede un video e quell’esito fornisce il contesto per la sottoattività successiva. Il modello collega così i piani ai cambiamenti previsti della scena lungo passaggi successivi.
- Valutare piani visivi estesi
Per valutare la pianificazione visiva su sequenze estese, gli autori introducono Rynn-VP, un test che verifica se i piani restano coerenti con l’attività e con le operazioni precedenti. Il punteggio complessivo di RynnUnify è stato di 9.75 punti superiore a quello di Cosmos 3 Nano.
È un’evidenza di prestazioni migliori in quel test; i passaggi forniti non specificano altri dettagli sulla valutazione.
- Ragionare su stati non visibili
Per le domande su stati non direttamente visibili nell’input, Rynn-GEU valuta il ragionamento sulle conseguenze delle azioni, sui cambiamenti fisici e sulle relazioni spaziali. L’estensione agentica degli autori può rispondere direttamente oppure usare video generati da RynnUnify.
Sulle stesse domande, il suo punteggio medio è stato di 6.0 punti superiore a quello del ragionamento diretto: il confronto sostiene un beneficio delle risposte assistite da video in questo test.
- Valutare il controllo dei robot
Un’estensione world-action adatta il modello completo al controllo dei robot. In simulazione, ha avuto successo nel 51.5% di 20 attività RoboCasa365 composite selezionate; sulle attività con robot reali, la media di successo è stata del 46.7% su tre attività.
Questi risultati mostrano le prestazioni nei contesti riportati; quello simulato riguarda attività selezionate, non l’intera raccolta.
Dettagli
- Autori del paper originale
- Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang
- Inviato ad arXiv
- Licenza
- CC BY 4.0