La memoria statica amplia i modelli preaddestrati senza preaddestramento sparso
In parole semplici
STAPLE è un metodo per ampliare un modello linguistico preaddestrato con una grande memoria consultabile. Ogni token dell’input seleziona una riga di quella memoria e le informazioni selezionate si aggiungono al calcolo feed-forward già presente nel modello.
Le nuove righe partono da zero, quindi inizialmente il modello si comporta come quello originale. I ricercatori hanno confrontato questo design con l’addestramento continuato del modello denso e con altri design sparsi.
Su OLMo-2 1B, STAPLE ha portato la media dei punteggi su dieci compiti da 44.39 a 45.59, con il budget di addestramento riportato.
La ricerca
La domanda pratica è se parametri aggiuntivi possano apportare capacità utili dopo il preaddestramento senza scartare il calcolo già appreso o rendere costoso il serving.
È rilevante perché l’espansione sparsa può evitare un riaddestramento completo, ma i design basati su esperti aggiungono costi di instradamento, memoria e comunicazione e possono frammentare l’uso delle risorse; inoltre, la memoria statica sostitutiva può sprecare parte del limitato addestramento aggiuntivo per reimparare capacità già presenti.
STAPLE conserva il percorso feed-forward preaddestrato e aggiunge memoria specifica per token inizializzata a zero, migliorando i punteggi valutati durante un periodo limitato di addestramento aggiuntivo.
I ricercatori hanno confrontato la memoria additiva con quella sostitutiva in un’ablation su quattro livelli, poi hanno testato STAPLE-12L contro l’addestramento denso continuato e alternative statiche con lo stesso numero di parametri su OLMo-2 1B.
La media dei punteggi su dieci compiti è salita da 44.39 a 45.59, con miglioramenti in programmazione, matematica e comprensione della lettura.
Il percorso conservato e il forte calo dei punteggi dopo la rimozione delle tabelle supportano un ruolo della memoria statica appresa.
La conclusione è limitata alle impostazioni di OLMo-2 riportate: il test su 7B ha usato un budget di addestramento ridotto e la rimozione delle tabelle è stata eseguita senza riaddestrare un checkpoint i cui pesi rimanenti si erano co-adattati alla memoria.
Analisi
Dettagli
- Licenza
- CC BY 4.0