IT
Un modello video conserva scene e azioni tra più turni
Hy-Nomas: Towards Free-form Interactive World Generation · arXiv:2610.36729
In parole semplici
Hy-Nomas è un modello video che risponde a istruzioni testuali e comandi della telecamera che cambiano nel corso di più turni. La difficoltà consiste nel seguire ogni nuovo comando mantenendo coerenti i cambiamenti della scena e le azioni precedenti.
Il modello mantiene disponibili le descrizioni persistenti della scena, ma limita ciascuna istruzione relativa a un’azione al segmento e al periodo in cui è prevista. Nei confronti umani sulle istruzioni testuali distribuite su più turni, gli annotatori hanno giudicato Hy-Nomas più bravo di LingBot-World v2 adattato con maggiore frequenza. Il risultato riguarda quel test, non ogni tipo di interazione.
La ricerca
Quando un modello video riceve un nuovo comando, riesce a seguirlo senza perdere di vista la scena o annullare ciò che è successo prima?
È una domanda difficile perché ogni nuovo segmento video si basa su quelli generati in precedenza: piccoli errori possono accumularsi e i dettagli della scena devono restare disponibili.
Hy-Nomas genera video da istruzioni testuali e comandi della telecamera che cambiano, mantenendo il contesto della scena e limitando ogni azione alla finestra temporale prevista.
In un test di 60 scenari di interazione testuale su più turni, annotatori umani addestrati hanno valutato Hy-Nomas rispetto a LingBot-World v2 adattato per il rispetto delle istruzioni.
Hy-Nomas ha ottenuto una percentuale riportata di vittorie del 75.0%; il giudizio a coppie riguardava casi con da due a sei turni.
Quando si alternavano istruzioni testuali e comandi della telecamera, Hy-Nomas ha ottenuto percentuali riportate di vittorie più alte per il rispetto delle istruzioni e la plausibilità fisica, ma una percentuale più bassa per il controllo della telecamera. Il confronto suggerisce che i suoi punti di forza dipendono da ciò che viene valutato.
Questi risultati derivano da giudizi umani su test di interazione; nel compito di memoria spaziale valutato, Hy-Nomas ha ottenuto risultati inferiori a Genie 3. I test non misurano la qualità video convenzionale né dimostrano che le previsioni consentano ai robot di eseguire azioni con successo.
Cosa mostrano le prove
- La sfida dei turni successivi
Hy-Nomas è un modello del mondo video da 8 miliardi di parametri che genera nuovi segmenti video in risposta a istruzioni testuali successive e ai comandi della telecamera. La domanda è se un modello possa rispondere a ogni nuovo comando conservando la scena e gli effetti delle azioni precedenti.
Questo è importante perché ogni segmento diventa contesto per quello successivo: mentre l’interazione continua, gli errori possono accumularsi.
- Separare scena e azioni
Hy-Nomas usa didascalie strutturate per distinguere le descrizioni della scena dalle azioni specifiche, indicate con i relativi tempi. Le regole di attenzione mantengono disponibili le descrizioni della scena ai segmenti successivi, ma limitano ogni istruzione relativa a un’azione al segmento e alla finestra temporale originali.
Il sistema mira a conservare il contesto e a ridurre le azioni eseguite fuori ordine o ripetute in seguito.
- Risultati nelle diverse interazioni
Gli autori riferiscono che introdurre l’attenzione consapevole delle azioni nelle fasi successive dell’addestramento ha ridotto sostanzialmente gli errori nell’ordine delle azioni e le ripetizioni tra segmenti. Il resoconto è qualitativo: non fornisce una stima numerica controllata e la descrizione citata non stabilisce se le altre condizioni di addestramento fossero uguali.
Nei confronti umani, Hy-Nomas ha ottenuto giudizi migliori sul rispetto delle istruzioni nei test con testo su più turni e con alternanza di testo e comandi della telecamera; in quest’ultimo test, però, la sua percentuale di vittorie sul controllo della telecamera era inferiore.
- Dove i risultati sono più deboli
I risultati cambiano a seconda del compito. Nel test di memoria spaziale, gli annotatori hanno giudicato Genie 3 più bravo di Hy-Nomas nel conservare una scena quando la telecamera vi faceva ritorno.
I test valutano l’interazione, la plausibilità, la navigazione e il ricordo spaziale; non misurano la qualità video convenzionale né dimostrano che i risultati generati consentano ai robot di eseguire azioni con successo.
Dettagli
- Autori del paper originale
- Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive