IT
ChronoReplay addestra modelli video a rispondere a domande spaziali
ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence · arXiv:2610.34283
In parole semplici
Le domande su un video possono chiedere cose diverse: da che parte si trova un oggetto, quanto è lontano o quando è apparso. ChronoReplay è un metodo per addestrare un unico modello visione-linguaggio su tutti e tre i tipi di risposta, associando ciascuna risposta alla cronologia video disponibile in quel momento.
Nei test su domande categoriali, stato spaziale in più turni ed eventi con timestamp, il modello addestrato ha ottenuto punteggi più alti rispetto allo stesso modello ufficiale iniziale, mantenendo fisso l’accesso alle osservazioni. I risultati riguardano le scene in ambienti interni valutate nell’articolo.
La ricerca
Se un modello video impara a rispondere a un tipo di domanda spaziale, saprà affrontare anche domande che chiedono una distanza o un momento? La diagnosi dell’articolo con una sola famiglia mostra un trasferimento disomogeneo tra queste forme di risposta.
Da qui la domanda: un modello condiviso può imparare tutte queste risposte insieme, usando la cronologia disponibile al momento di ciascuna domanda?
ChronoReplay addestra un unico modello visione-linguaggio su risposte categoriali, sulle distanze e sui tempi, associate alla cronologia video disponibile per ciascuna domanda.
OVO-S verifica il ragionamento spaziale categoriale, OST lo stato e le relazioni in più turni, e UCS le domande legate a timestamp e causalità.
Mantenendo fisso l’accesso alle osservazioni, l’addestramento aggiuntivo ha aumentato i punteggi dello stesso modello Qwen3-VL-8B da 48.98 a 53.89 su OVO-S, da 50.52 a 63.93 su OST con scene distinte da quelle di addestramento e da 45.33 a 52.77 su tutte le 8,114 domande UCS.
Poiché ciascun confronto mantiene fissi il protocollo di osservazione e quello di valutazione, i risultati sostengono un miglioramento nelle tre forme di ragionamento spaziale verificate.
Il punteggio Overall di OVO-S è la media non ponderata dell’accuratezza su 12 famiglie di attività; il punteggio OST è assegnato dal valutatore ufficiale.
La valutazione riguarda scene in ambienti interni e i ricercatori non hanno verificato gli impieghi ad alto rischio.
Inoltre, la diagnosi con una sola famiglia confronta gruppi di addestramento con una copertura delle attività diversa: non può quindi dimostrare che la sola forma della risposta abbia causato il modello di trasferimento osservato.
Cosa mostrano le prove
- Una cronologia, domande diverse
ChronoReplay è un metodo di post-addestramento per modelli visione-linguaggio che combina supervisione categoriale, sulle distanze e sui tempi per rispondere a domande basate sulla cronologia di un video. I ricercatori chiedono se l’addestramento su una forma di risposta spaziale si trasferisca ad altre forme.
OVO-S-Bench verifica il ragionamento categoriale, per esempio la permanenza degli oggetti e la mappatura; il punteggio Overall è la media dell’accuratezza su 12 famiglie di attività. OST-Bench verifica stato e relazioni durante un’esplorazione in più turni, mentre UCS-Bench verifica domande legate ai timestamp su movimento e posizione.
- Il trasferimento varia tra famiglie
La diagnosi con una sola famiglia mostra perché la domanda è rilevante. L’addestramento solo categoriale ha ottenuto 58.03 su OVO-S e 47.48 su OST, meno del 50.52 del modello ufficiale su OST.
L’addestramento solo sulle traiettorie ha ottenuto 51.03 su OST, mentre ChronoReplay completo ha raggiunto 63.93. Questi risultati suggeriscono un trasferimento disomogeneo tra forme di risposta, ma le varianti a singola famiglia differiscono per dati di origine e copertura delle attività: il confronto non può attribuire il modello osservato alla sola forma della risposta.
- Punteggi più alti in tre test
I ricercatori hanno confrontato ChronoReplay addestrato con il modello ufficiale Qwen3-VL-8B, partendo dallo stesso checkpoint e mantenendo fisso l’accesso alle osservazioni in ciascun confronto. La media dell’accuratezza sulle 12 famiglie di attività OVO-S è salita da 48.98 a 53.89.
Il punteggio del valutatore ufficiale sul test OST in più turni e su scene distinte da quelle di addestramento è salito da 50.52 a 63.93. Sulle 8,114 domande UCS legate a timestamp e causalità, il punteggio è salito da 45.33 a 52.77.
- I controlli verificano due scelte
I controlli verificano se alcune componenti della ricetta contano nei contesti esaminati. Mantenendo fissi i dati congiunti e le altre condizioni indicate, il punteggio medio di ChronoReplay sui tre test è stato 56.86, sopra 55.57 con ponderazione naturale dei turni e 54.10 con addestramento ordinario sui token.
Nelle prove OST abbinate, il replay cronologico ha ottenuto in media 2.41 punti in più rispetto al replay spostato ciclicamente. Questo spostamento modifica anche il contesto precedente a ciascun obiettivo, quindi il controllo verifica la costruzione cronologica nel suo insieme.
Dettagli
- Autori del paper originale
- Yihao Hu, Yitong Lin, Pan Wang, Zhihao Wen, Hang Wang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive