ES
ChronoReplay entrena modelos de video para responder preguntas espaciales
ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence · arXiv:2610.34283
En palabras sencillas
Las preguntas sobre un video pueden pedir cosas distintas: en qué lado está un objeto, a qué distancia está o cuándo apareció. ChronoReplay es una forma de entrenar un modelo de visión y lenguaje con los tres tipos de respuestas, vinculando cada una al historial del video disponible en ese momento.
En pruebas de preguntas categóricas, estado espacial a lo largo de varios turnos y sucesos con marca de tiempo, el modelo entrenado obtuvo puntuaciones más altas que el mismo modelo oficial inicial con el acceso a las observaciones fijado. Los resultados se limitan a las escenas interiores evaluadas en el artículo.
La investigación
Si un modelo de video aprende a responder un tipo de pregunta espacial, ¿también podrá responder preguntas sobre distancias o tiempos? El diagnóstico con una sola familia del artículo muestra una transferencia desigual entre estos formatos de respuesta.
Esto plantea si un mismo modelo puede aprenderlos conjuntamente a partir del historial disponible en cada pregunta.
ChronoReplay entrena un modelo de visión y lenguaje con respuestas categóricas, de distancia y de tiempo vinculadas al historial del video disponible para cada pregunta.
OVO-S evalúa razonamiento espacial categórico, OST evalúa estados y relaciones en varias rondas, y UCS evalúa preguntas causales con marca de tiempo.
Con el acceso a las observaciones fijado, el entrenamiento adicional elevó las puntuaciones del mismo modelo Qwen3-VL-8B de 48.98 a 53.89 en OVO-S, de 50.52 a 63.93 en OST con escenas separadas de las usadas para entrenar y de 45.33 a 52.77 en las 8,114 preguntas de UCS.
Como cada comparación mantiene fijo su protocolo de observación y puntuación, los resultados respaldan mejoras en estas tres formas evaluadas de razonamiento espacial.
La puntuación Overall de OVO-S es la media sin ponderar de la precisión en 12 familias de tareas; la puntuación de OST la asigna su evaluador oficial.
La evaluación abarca escenas interiores y los investigadores no auditaron usos de alto riesgo.
Además, el diagnóstico con una sola familia compara grupos de entrenamiento con distinta cobertura de tareas, por lo que no demuestra que el formato de respuesta por sí solo causara el patrón de transferencia observado.
Qué muestran las pruebas
- Un historial, distintas preguntas
ChronoReplay es un método de ajuste posterior al entrenamiento para modelos de visión y lenguaje que combina supervisión categórica, de distancia y de tiempo para responder preguntas sobre el historial de un video. Los investigadores preguntan si el entrenamiento con un formato de respuesta espacial se transfiere a otros formatos.
OVO-S-Bench evalúa razonamiento categórico, como la permanencia de objetos y la elaboración de mapas; su puntuación Overall promedia la precisión en 12 familias de tareas. OST-Bench evalúa estados y relaciones durante una exploración de varias rondas, mientras que UCS-Bench evalúa preguntas causales con marca de tiempo sobre movimiento y posición.
- La transferencia varía según la familia
El diagnóstico con una sola familia muestra por qué importa esta pregunta. El entrenamiento solo categórico obtuvo 58.03 en OVO-S y 47.48 en OST, por debajo del 50.52 del modelo oficial en OST.
El entrenamiento solo con trayectorias obtuvo 51.03 en OST, mientras que ChronoReplay completo obtuvo 63.93. Estos resultados sugieren que la transferencia entre formatos de respuesta es desigual, pero las variantes de una sola familia difieren en los datos de origen y en la cobertura de tareas; por tanto, la comparación no permite atribuir el patrón únicamente al formato de respuesta.
- Suben las puntuaciones en tres pruebas
Los investigadores compararon ChronoReplay entrenado con el modelo oficial Qwen3-VL-8B, partiendo del mismo punto de control y manteniendo fijo el acceso a las observaciones en cada comparación. La precisión media de OVO-S en sus 12 familias de tareas subió de 48.98 a 53.89.
La puntuación del evaluador oficial en la prueba OST de varias rondas, con escenas separadas de las usadas para entrenar, subió de 50.52 a 63.93. En las 8,114 preguntas causales con marca de tiempo de UCS, la puntuación subió de 45.33 a 52.77.
- Los controles examinan dos decisiones
Los controles examinan si algunos componentes de la receta influyen en los contextos evaluados. Con los datos conjuntos y las demás condiciones indicadas constantes, la puntuación media de ChronoReplay en las tres pruebas fue 56.86, por encima de 55.57 con ponderación natural por turnos y de 54.10 con entrenamiento habitual por tokens.
En ejecuciones emparejadas de OST, la reproducción cronológica obtuvo, en promedio, 2.41 puntos más que la reproducción desplazada cíclicamente. Ese desplazamiento también cambia el contexto anterior a cada respuesta, así que la prueba evalúa la construcción cronológica en conjunto.
Detalles
- Autores del paper original
- Yihao Hu, Yitong Lin, Pan Wang, Zhihao Wen, Hang Wang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive