VideoJev valuta le decisioni video direttamente e riutilizza il contesto

Quando un sistema video riceve più domande strutturate sullo stesso clip, potrebbe dover localizzare un evento o confrontare opzioni di risposta ogni volta.

Non è ancora chiaro se queste decisioni possano essere prese senza generare testo per ogni risposta, evitando al tempo stesso di rielaborare più volte lo stesso contesto visivo.

VideoJev valuta intervalli temporali candidati o opzioni di risposta con un unico componente di scoring condiviso e riutilizza il contesto video tra domande correlate.

I ricercatori hanno confrontato VideoJev-4B e VideoJev-35B-A3B con i corrispondenti modelli Qwen valutati in modalità con istruzioni.

Su tre test di localizzazione temporale, i punteggi medi di sovrapposizione degli intervalli erano superiori rispettivamente di 6,7 e 10,8 punti; su quattro test a scelta multipla su domande video, i punteggi medi erano superiori di 8,0 e 5,7 punti.

VideoJev era stato addestrato a valutare direttamente intervalli o opzioni, mentre i modelli Qwen generavano output testuali. I risultati mostrano medie più alte per i modelli con scoring diretto, sebbene il confronto differisca anche nella fase di addestramento e nel metodo di lettura dell'output.

I confronti con i backbone non dimostrano che il solo metodo di lettura dell'output abbia causato i miglioramenti: il paper non specifica se ciascun modello e il corrispondente modello Qwen abbiano usato checkpoint identici.

Sui test a domande video valutati, le probabilità stimate dai modelli tendevano inoltre a sovrastimare la correttezza delle risposte.