Un solo segnale per ridurre i token visivi in due fasi

Quando un modello visivo-linguistico viene valutato soltanto sul primo token generato, quel punteggio può dirci se rimuovere informazioni visive durante la generazione della risposta altera il resto della risposta stessa?

Lo studio sostiene che la regola di valutazione è determinante: un punteggio basato sul primo token si fissa prima che l'eliminazione dalla cache durante il decode abbia effetto.

TwinPrune riutilizza un unico punteggio di densità spaziale per unire token visivi prima della generazione e rimuovere voci dalla visual KV cache all'inizio della generazione della risposta.

TwinPrune applica un unico punteggio di densità spaziale a entrambe le fasi dell'inference visivo-linguistica: guida la fusione dei token visivi prima della generazione e l'eliminazione delle voci dalla visual cache quando la generazione della risposta ha inizio.

Su TextVQA, che valuta le risposte complete generate tramite corrispondenza esatta, come si è comportata l'eviction basata sulla densità rispetto a H2O quando entrambi i metodi mantenevano il 12,5% delle voci della visual cache?

InternVL-3.5-8B ha ottenuto 0,648 con l'eviction basata sulla densità e 0,552 con H2O. Il confronto mostra un vantaggio in quella specifica configurazione di test.

Questi risultati riguardano sette varianti di modello appartenenti a tre famiglie di modelli, nonché i task e le configurazioni testati.

Gli autori non hanno sperimentato la compressione prefill a più stadi, e il calcolo della densità spaziale presuppone che i token siano disposti su una griglia regolare, il che ne limita l'applicazione diretta a tokenizer non basati su griglia.