Un metodo basato sui bit confronta il contesto con i pesi del modello
In parole semplici
Un modello può usare nuovi esempi nel contesto temporaneo oppure l’addestramento può scrivere le informazioni di quegli esempi nei suoi pesi. Questo paper introduce un modo per confrontare le due scelte: controlla quanto ciascuna aiuta il modello a descrivere le risposte a nuove domande.
In una valutazione con un transformer addestrato, il metodo ha emesso una scelta in alcune comparazioni e ogni certificato emesso concordava con il vincitore misurato. Quando gli esempi rientravano nella finestra di contesto testata, la cache ha ottenuto risultati migliori delle procedure di addestramento completo selezionate.
La ricerca
Quando un modello riceve nuovi esempi, dovrebbe usarli nel contesto temporaneo oppure l’addestramento dovrebbe scriverli nei suoi pesi? Il contesto viene ricostruito per fare previsioni, mentre l’addestramento cambia ciò che il modello conserva.
Il paper chiede come confrontare queste due strade in base alle previsioni che producono su nuove query.
Il metodo confronta quanti bit risparmiano le previsioni su query tenute da parte usando contesto e pesi addestrati, poi sceglie tra i due tramite limiti di capacità o un test su query tenute da parte.
Per confrontare il contesto con i pesi addestrati sugli stessi esempi, il metodo misura quanto ciascuno accorcia le descrizioni probabilistiche di nuove query, poi confronta il guadagno di un canale con il limite di capacità dell’altro.
In un transformer a tre livelli addestrato, sono stati emessi certificati in 25 delle 64 comparazioni e ogni decisione concordava con i vincitori misurati. Quando gli esempi rientravano nella finestra della cache testata, le procedure di fine-tuning completo selezionate lasciavano invariati i pesi e la cache risparmiava da 2.7 a 7.0 bit in più per blocco di query.
I certificati richiedono termini informativi esatti, disponibili nel paper per distribuzioni progettate appositamente; quando questi termini non sono noti, gli autori usano invece un test su query tenute da parte.
L’accordo osservato nei confronti riportati non dimostra che i certificati prendano sempre la decisione corretta in altri contesti.
Analisi
Dettagli
- Autori del paper originale
- Leon Chlon, Julie Huang
- Inviato ad arXiv
- Licenza
- CC BY 4.0