Prevedere le azioni dà significato ai canali relazionali nei modelli video
Inside-JEPA: From Prediction to Relational Grounding in Latent World Models · arXiv:2610.31194
In parole semplici
Un modello che prevede come apparirà una scena in seguito può usare qualunque codice interno prevedibile: la sola previsione non fa sì che quel codice descriva le relazioni tra gli oggetti. Inside-JEPA aggiunge segnali per le coppie di oggetti e addestra il modello a dedurre l’azione tra due fotogrammi osservando come cambiano quei segnali.
Nei brevi video di azioni, i suoi segnali corrispondevano alle relazioni calcolate dai riquadri degli oggetti meglio dei segnali addestrati solo per prevedere. Il test mostra un allineamento con etichette basate sui riquadri, ma non dimostra che i canali rappresentino relazioni fisiche oltre quelle etichette.
La ricerca
Quando un modello prevede come apparirà una scena in seguito, che cosa fa sì che i suoi segnali interni rappresentino relazioni tra gli oggetti, invece di un qualunque schema prevedibile?
La domanda conta perché lo stato interno di un modello del mondo è utile per obiettivi che riguardano le relazioni solo se queste possono essere ricavate da quello stato.
Inside-JEPA addestra i canali per coppie di entità affinché aiutino a inferire l’azione tra i fotogrammi, dando loro un motivo per seguire le relazioni tra oggetti definite dai riquadri.
Su Something-Else, un test con brevi video di azioni umane e riquadri degli oggetti, i ricercatori hanno confrontato Inside-JEPA con un modello addestrato soltanto a prevedere il proprio stato latente futuro. Per ogni relazione, hanno misurato se un canale abbinato collocasse gli esempi positivi definiti dai riquadri sopra quelli negativi, quindi hanno calcolato la media dei punteggi sulle relazioni.
La componente di dinamica inversa sui canali relazionali ha ottenuto 0,658, contro 0,593 con l’addestramento basato solo sulla previsione, calcolando la media su tre inizializzazioni dell’addestramento.
Il risultato sostiene l’idea che il segnale d’azione aiuti i canali ad allinearsi alle relazioni: la componente di dinamica inversa che leggeva l’intero stato latente ha ottenuto 0,670, mentre i controlli con sole entità e con azioni mescolate casualmente hanno ottenuto 0,608 e 0,539.
Un controllo sulla quota di etichette ha inoltre rilevato guadagni ridotti con etichette sull’1% o il 5% delle coppie, ma un guadagno di +0,047 al 25%.
Le valutazioni definiscono le relazioni a partire dai riquadri degli oggetti: mostrano quindi un allineamento con etichette basate sui riquadri, ma non dimostrano che i canali rappresentino relazioni fisiche oltre quelle codificate da tali riquadri.
Lo studio confronta il metodo con un solo riferimento addestrato esclusivamente alla previsione; inoltre, la prova di pianificazione riguarda la selezione di un’azione in un solo passaggio all’interno di clip di Something-Else, usando letture addestrate con etichette relazionali.
Cosa mostrano le prove
- Che cosa dovrebbero rappresentare i canali?
Inside-JEPA è un metodo JEPA per modelli del mondo che aggiunge allo stato un vettore di canali relazionali per ogni coppia ordinata di entità. Nel test video Something-Else, le relazioni valutate sono ricavate da riquadri bidimensionali degli oggetti; per esempio, «dentro» è un’approssimazione del contenimento sul piano dell’immagine.
La domanda è se questi canali seguano tali relazioni, invece di limitarsi a contenere informazioni facili da prevedere.
- Collegare i canali alle azioni
La sola previsione non dà al modello un motivo per far rappresentare una relazione a un canale: anche un codice statico o arbitrario può essere prevedibile. Inside-JEPA addestra una componente di dinamica inversa a ricavare l’azione tra due fotogrammi osservando i cambiamenti nei canali relazionali.
Questo crea un segnale di addestramento legato all’azione, senza usare etichette relazionali per addestrare i canali e senza imporre quale canale corrisponda a quale relazione.
- Confrontare i segnali di addestramento
Nella configurazione principale di Something-Else, i ricercatori hanno abbinato ogni relazione definita dai riquadri a un canale diverso e calcolato la media di quanto i canali abbinati collocassero gli esempi positivi sopra quelli negativi.
Questo punteggio medio, calcolato su tre inizializzazioni dell’addestramento, è stato 0,658 con la componente di dinamica inversa che legge i canali relazionali e 0,593 con l’addestramento basato solo sulla previsione. La componente di dinamica inversa che leggeva l’intero stato latente ha ottenuto 0,670; i controlli con sole entità e con azioni mescolate casualmente hanno ottenuto rispettivamente 0,608 e 0,539.
- Verificare le etichette e le azioni robotiche
Un controllo che variava le etichette d’azione ha rilevato un guadagno di allineamento quasi nullo quando le etichette erano disponibili per l’1% o il 5% delle coppie di addestramento, ma un guadagno di +0,047 con etichette per il 25% delle coppie (3.490 coppie), contro +0,066 quando erano etichettate tutte le coppie.
Negli episodi robotici, con azioni continue dell’end-effector ed escludendo intere attività dall’addestramento, il guadagno rispetto all’addestramento basato solo sulla previsione è stato +0,081. Questo estende il risultato a un altro tipo di azione, usando i riquadri forniti per i robot.
- Verificare che cosa supportano i canali
La previsione delle relazioni che cambiavano ha ottenuto un punteggio migliore con l’azione corretta che con un’azione rimescolata. In un test separato di selezione in un solo passaggio, un classificatore sui canali relazionali ha collocato l’azione corretta tra le prime cinque nel 42,5% degli obiettivi, contro il 24,4% con un classificatore che leggeva l’intero stato latente del modello addestrato solo alla previsione.
Entrambi i risultati suggeriscono possibili usi dei canali nelle clip video esaminate; non dimostrano un successo generale nelle azioni né una capacità generale di pianificazione.
Dettagli
- Autori del paper originale
- Hossein Resani, Javen Qinfeng Shi
- Inviato ad arXiv
- Licenza
- CC BY 4.0