LapMerge rende apprendibile il merge di token ordinati
In parole semplici
Le sequenze lunghe di token possono essere costose da elaborare, ma eliminarne alcuni e basta può far perdere informazioni utili. LapMerge è un metodo che trasforma una sequenza ordinata in un numero esatto, più piccolo, di token, mescolando quelli vicini in base a pesi appresi.
Nelle domande sugli oggetti presenti nelle immagini, è stato confrontato con un metodo che conservava token visivi selezionati. LapMerge ha ottenuto un punteggio più alto con il budget di token più ristretto, mentre con un budget meno ristretto la differenza era incerta.
La preferenza per token vicini può limitarne l’efficacia quando le informazioni utili sono lontane tra loro.
La ricerca
Quando un modello elabora una sequenza ordinata lunga, ridurre i token può abbassare il costo delle elaborazioni successive, ma i tagli netti basati sui punteggi possono impedire di addestrare il sistema che li assegna.
Un metodo può produrre una sequenza più corta di lunghezza esatta mantenendo i pesi dei token collegati al risultato tramite un segnale di apprendimento?
LapMerge rende più graduali le posizioni dei token e combina gli input in intervalli di massa uguale, ottenendo un budget esatto con un merge differenziabile e lineare nelle operazioni.
LapMerge affronta una domanda di base sulla compressione: si può ridurre una sequenza ordinata a un numero esatto di token, consentendo comunque ai punteggi dei token di apprendere?
I tagli netti basati sui pesi cumulativi possono saltare quando cambiano i punteggi, bloccando il segnale del gradiente diretto alla componente che assegna i punteggi.
Il metodo rende più graduali le posizioni dei token, divide la massa in porzioni uguali e combina i token che contribuiscono. Su POPE, un test che valuta se un modello visione-linguaggio risponde correttamente alle domande sulla presenza di oggetti, il modello congelato ha ottenuto un punteggio superiore alla selezione con un budget del 10% di token visivi.
Con il 30%, l’intervallo appaiato d’incertezza includeva zero, quindi l’evidenza di un vantaggio è più debole.
Questi risultati non mostrano che LapMerge migliori l’accuratezza in tutte le attività o con qualsiasi ordine dei token. L’aggregazione privilegia le posizioni vicine e, con un budget del 30% di token visivi, il vantaggio di POPE rispetto alla selezione non risulta chiaramente distinto da zero.
Analisi
Dettagli
- Licenza
- CC BY 4.0