Bifocal conserva dettagli e contesto riducendo l’input visivo

Un modello può elaborare molti meno token visivi senza perdere i dettagli necessari per leggere testi o localizzare oggetti?

I comuni punteggi nelle domande visive non bastavano a rispondere: nei test più ampi del paper, metodi che ottenevano buoni risultati nelle domande generali potevano perdere molto di più nelle attività che richiedono dettagli precisi.

Bifocal combina porzioni legate alla domanda, porzioni selezionate in base all’immagine e riassunti aggregati, poi elimina altri token secondo l’attenzione del testo verso l’immagine e la densità locale dei token rimasti.

Con circa un quarto dei token visivi, le porzioni selezionate in base all’immagine favorivano la lettura di testi e documenti, mentre quelle selezionate in base alla domanda favorivano la localizzazione degli oggetti. Una divisione in parti uguali seguiva i risultati del metodo singolo migliore, suggerendo che i due percorsi conservino informazioni complementari.

Bifocal combina entrambi i tipi di porzioni con riassunti aggregati, poi elimina altri token all’interno del modello. In cinque gruppi di capacità e tre famiglie di modelli, è stato l’unico metodo valutato a mantenere oltre il 90% delle prestazioni di ciascun modello senza pruning in ogni gruppo.

Questi risultati riguardano i gruppi di capacità e le famiglie di modelli esaminati. In LLaVA-NeXT, le immagini producono quantità diverse di token visivi: il budget medio di token non corrisponde quindi a una frazione fissa dell’input di ogni immagine.