RIFT mantiene utile la cache della bozza mentre il testo cresce
In parole semplici
Un modello bozza aiuta un modello più grande a generare testo proponendo token. Per risparmiare memoria, la bozza può conservare solo una parte del proprio registro dei token precedenti, ma le parti utili possono cambiare mentre scrive.
RIFT è una famiglia di metodi che conserva sia i token recenti sia una selezione del contesto del prompt, e può aggiornare la selezione durante la generazione. In un test Qwen, dividere la cache tra contesto recente e selezionato ha aumentato la media dei token accettati rispetto sia a una selezione fissa del prompt sia a una cache contenente solo token recenti. Il risultato vale per la configurazione testata.
La ricerca
Quando la memoria disponibile per un modello bozza è limitata, quali token precedenti dovrebbe conservare mentre genera? Una selezione del prompt può mantenere il contesto lontano, mentre i token recenti catturano ciò che è appena stato scritto.
Il paper esamina se l’equilibrio tra i due cambia durante la generazione e valuta metodi per adattare la cache.
RIFT divide la cache fissa di un modello bozza tra token recenti e contesto selezionato del prompt, e può aggiornare le selezioni durante la generazione.
Il paper confronta due modi di usare una cache limitata per la bozza: conservare le posizioni del prompt selezionate prima della generazione oppure tenere solo i token più recenti. In una configurazione Qwen, la lunghezza media di accettazione dei due metodi è cambiata in direzioni opposte con il procedere della generazione.
Anche una misura dell’attenzione con cache completa si è spostata verso le posizioni conservate dal metodo basato sui token recenti, in modo coerente con un cambiamento nella rilevanza del contesto.
RIFT combina token recenti e contesto selezionato del prompt; alcune varianti aggiornano le selezioni durante la generazione. Nelle configurazioni testate, questa combinazione e l’aggiornamento hanno migliorato le misure medie di accettazione rispetto ai corrispondenti metodi con selezione fissa.
I risultati sostengono questi metodi per i modelli e le condizioni riportati, non un vantaggio universale.
Questi risultati misurano l’accettazione delle bozze con modelli, budget della cache e impostazioni di generazione specifici.
Il modo in cui le selezioni perdono rilevanza varia secondo l’architettura; per aggiornarle occorre mantenere in memoria l’intera cronologia della cache della bozza oppure spostarla su memoria esterna.
Analisi
Dettagli
- Autori del paper originale
- Dor Tsur, Maor Ashkenazi, Maximilian Golub, Peter Hicks, Yaniv Galron
- Inviato ad arXiv
- Licenza
- CC BY 4.0