IT
I controlli espliciti della vista aiutano i modelli video a distinguere il movimento e cambiare prospettiva
World-in-Context: Interactive Video World Modeling with In-Context Conditioning · arXiv:2610.33169
In parole semplici
World-in-Context è un sistema che genera video in risposta ai controlli. Fornisce al modello segnali espliciti per la vista, le azioni del personaggio e i movimenti della telecamera, così può considerarli insieme mentre genera ciò che accade dopo.
In 100 scenari di navigazione, i segnali espliciti per la vista hanno prodotto schemi di movimento diversi per la prima persona e la telecamera libera; le sole descrizioni testuali hanno prodotto schemi simili. È un'evidenza limitata a quegli scenari, non a ogni tipo di video interattivo.
La ricerca
Quando un modello video interattivo riceve un percorso della telecamera o un comando di movimento, come fa a sapere se la scena dovrebbe muoversi come in una vista in prima persona o come ripresa da una telecamera libera?
Il paper esamina se rendere esplicita la vista può aiutare a coordinare questi controlli e a supportare i cambi di prospettiva nei video generati.
World-in-Context è un framework video interattivo che riunisce i controlli di vista, azione e telecamera, così il modello può coordinarli mentre genera video futuri.
World-in-Context riunisce i controlli di vista, azione e telecamera durante la generazione di video. Rendere esplicita la vista aiuta il modello a produrre movimenti adatti alla prospettiva e a cambiare vista su richiesta?
In 100 scenari, mantenendo fissi descrizioni e movimenti in avanti, i token espliciti della vista hanno distinto i profili di movimento in prima persona e a telecamera libera, simili invece con le sole descrizioni testuali.
Nel test di WBench dalla prima alla terza persona, la riuscita delle transizioni è stata del 93.8% dopo un addestramento che includeva sequenze di cambio di prospettiva, contro il 37.5% dopo l'addestramento a vista singola.
Questi risultati riguardano il framework, i dati di addestramento e le impostazioni di valutazione riportati. La diagnosi del movimento copre 100 scenari di navigazione; i risultati sui cambi di prospettiva riguardano il sottoinsieme di WBench che passa dalla prima alla terza persona. Non stabiliscono le prestazioni in altre attività o impostazioni.
Cosa mostrano le prove
- Il problema di coordinare i controlli
World-in-Context è un framework di modellazione del mondo tramite video interattivi: genera video futuri in risposta alla prospettiva di visualizzazione, alle azioni del personaggio e ai movimenti della telecamera. Il paper affronta un problema di coordinamento.
Le modalità di vista possono restare implicite nelle descrizioni e percorsi di controllo separati possono rendere più difficile rappresentare le interazioni tra vista, azione e telecamera.
- Una rappresentazione condivisa
Il framework rappresenta i controlli di vista, azione e telecamera con token accanto alle rappresentazioni interne del video, dove un meccanismo di attenzione condivisa può metterli in relazione. Distingue esplicitamente la vista a telecamera libera, in prima persona e in terza persona.
La codifica dell'attenzione temporale tiene inoltre traccia dell'ordine dei cambiamenti dei controlli tra i fotogrammi, invece di rappresentare soltanto i punti iniziale e finale.
- Verificare il movimento in base alla vista
Per verificare se i segnali espliciti della vista corrispondono a movimenti distinti, i ricercatori hanno mantenuto fissi la descrizione del mondo e il movimento in avanti in 100 scenari di navigazione. Hanno ricostruito i percorsi generati dalla telecamera e misurato le oscillazioni laterali e verticali rispetto allo spostamento in avanti.
Le sole descrizioni testuali della vista hanno prodotto profili molto simili per la prima persona e la telecamera libera; i token espliciti hanno prodotto un movimento più periodico in prima persona e più fluido con la telecamera libera.
- Cosa mostrano le valutazioni
WBench valuta la navigazione nei video interattivi e le transizioni di prospettiva richieste. Nel sottoinsieme che passa dalla prima alla terza persona, World-in-Context ha soddisfatto i criteri di transizione nel 37.5% dei turni dopo l'addestramento a vista singola e nel 93.8% dopo una seconda fase che includeva sequenze di cambio di prospettiva.
In WBench Navigation, il punteggio medio è stato 81.5, vicino all'81.6 del modello EchoWM più grande. Questi risultati sostengono le prestazioni nei test riportati, entro gli specifici limiti di addestramento e valutazione.
Dettagli
- Autori del paper originale
- Harold Haodong Chen, Rui Peng, Rongjin Guo, Lingteng Qiu, Kejie Qiu
- Inviato ad arXiv
- Licenza
- CC BY 4.0