ES
Predecir acciones da significado a los canales relacionales en modelos de video
Inside-JEPA: From Prediction to Relational Grounding in Latent World Models · arXiv:2610.31194
En palabras sencillas
Un modelo que predice cómo se verá una escena más adelante puede usar cualquier código interno que sea fácil de predecir; eso no significa que el código describa cómo se relacionan los objetos. Inside-JEPA añade señales para pares de objetos y entrena al modelo para inferir la acción entre fotogramas a partir de cómo cambian esas señales.
En videos cortos de acciones, sus señales coincidieron mejor con las relaciones calculadas a partir de recuadros de objetos que las señales entrenadas solo para predecir. La prueba muestra una alineación con etiquetas basadas en esos recuadros, pero no demuestra que el modelo represente relaciones físicas más allá de ellos.
La investigación
Cuando un modelo predice cómo se verá una escena más adelante, ¿qué hace que sus señales internas representen relaciones entre objetos en vez de cualquier patrón predecible? La pregunta importa porque el estado interno de un modelo del mundo solo sirve para objetivos relacionales si esas relaciones pueden leerse en él.
Inside-JEPA entrena canales para pares de objetos que ayudan a inferir la acción entre fotogramas, lo que les da una señal para seguir relaciones definidas por recuadros.
En Something-Else, una prueba con videos cortos de acciones humanas y recuadros de objetos, los investigadores compararon Inside-JEPA con un modelo entrenado solo para predecir su estado latente futuro. Para cada relación, midieron si un canal asignado ordenaba los ejemplos positivos definidos por los recuadros por encima de los negativos y luego promediaron esas puntuaciones entre relaciones.
El componente de dinámica inversa aplicado a los canales relacionales obtuvo 0,658, frente a 0,593 con el entrenamiento solo para predicción, promediado sobre tres semillas de entrenamiento.
El resultado respalda la idea de que la supervisión de acciones ayuda a alinear los canales con las relaciones: el componente que leía el estado latente completo obtuvo 0,670, mientras que los controles que leían solo las entidades y que mezclaban las acciones al azar obtuvieron 0,608 y 0,539.
Un control con distintas proporciones de etiquetas también halló poca mejora con etiquetas para el 1 % o el 5 % de los pares, pero una mejora de +0,047 con etiquetas para el 25 %.
Las evaluaciones definen las relaciones a partir de recuadros de objetos, así que muestran una alineación con etiquetas basadas en esos recuadros, no prueban que los canales representen relaciones físicas más allá de ellos.
El estudio compara con una sola referencia entrenada únicamente para predecir, y su prueba de planificación consiste en seleccionar una acción en un solo paso dentro de clips de Something-Else, usando lecturas entrenadas con relaciones etiquetadas.
Qué muestran las pruebas
- ¿Qué deberían representar los canales?
Inside-JEPA es un método JEPA de modelo del mundo que añade una lista de números —canales relacionales— para cada par ordenado de entidades del estado. En la prueba de video de Something-Else, las relaciones evaluadas se calculan a partir de recuadros bidimensionales de objetos; por ejemplo, «dentro» aproxima la contención en el plano de la imagen.
La pregunta es si estos canales siguen esas relaciones, en vez de limitarse a transportar información fácil de predecir.
- Vincular los canales con las acciones
La predicción por sí sola no da motivos para que un canal represente una relación: un código estático o arbitrario también puede ser predecible.
Inside-JEPA entrena un componente de dinámica inversa para inferir la acción entre fotogramas a partir de los cambios en los canales relacionales. Así obtiene una señal de entrenamiento vinculada a la acción, sin usar etiquetas de relaciones para entrenar los canales ni especificar qué canal corresponde a cada relación.
- Comparar las señales de entrenamiento
En la configuración principal de Something-Else, los investigadores asignaron cada relación definida por los recuadros a un canal distinto y promediaron qué tan bien esos canales ordenaban los ejemplos positivos por encima de los negativos.
Esta puntuación media, promediada sobre tres semillas de entrenamiento, fue de 0,658 para el componente de dinámica inversa que leía los canales relacionales y de 0,593 con el entrenamiento solo para predicción. El componente que leía el estado latente completo obtuvo 0,670; los controles que leían solo las entidades y que mezclaban las acciones al azar obtuvieron 0,608 y 0,539.
- Comprobar las etiquetas y las acciones robóticas
Un control que varió las etiquetas de acciones encontró una mejora de alineación casi nula cuando las etiquetas cubrían el 1 % o el 5 % de los pares de entrenamiento, y una mejora de +0,047 cuando cubrían el 25 % (3.490 pares), frente a +0,066 con todos los pares etiquetados.
En episodios robóticos con acciones continuas del efector final y tareas completas reservadas para la evaluación, la mejora frente al entrenamiento solo para predicción fue de +0,081. Esto extiende el resultado a otro tipo de acción, usando los recuadros robóticos proporcionados.
- Probar qué permiten los canales
Las predicciones de relaciones cambiantes obtuvieron mejores resultados con la acción correcta que con una acción permutada.
En una prueba independiente de selección en un solo paso, una sonda aplicada a los canales relacionales situó la acción correcta entre las cinco primeras para el 42,5 % de los objetivos, frente al 24,4 % con una sonda aplicada al estado latente completo del modelo entrenado solo para predecir. Ambos resultados sugieren posibles usos de los canales en los clips de video evaluados; no establecen un éxito general al actuar ni una capacidad general de planificación.
Detalles
- Autores del paper original
- Hossein Resani, Javen Qinfeng Shi
- Enviado a arXiv
- Licencia
- CC BY 4.0