IT
I modelli binari possono addestrarsi con piccoli buffer di aggiornamento
Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State · arXiv:2610.34566
In parole semplici
I modelli con pesi binari memorizzano ogni peso usando uno di due segni, ma il metodo di addestramento abituale conserva anche una copia a precisione piena e dati dell’ottimizzatore per ogni peso. Questo stato aggiuntivo può essere molto più grande dei pesi binari del modello.
Error Diffusion è un ottimizzatore che conserva in un buffer i piccoli aggiornamenti residui finché non bastano a invertire il segno di un peso. Nel test sulla rete sintetica del paper, un buffer a 4 bit ha ottenuto un’accuratezza vicina a quella del metodo standard usando molto meno stato di addestramento per peso. Anche alcuni test sui modelli linguistici hanno trovato loss simili.
La ricerca
I modelli binari memorizzano i pesi in modo compatto, ma il metodo di addestramento abituale conserva per ogni peso molto più stato di quello presente nel modello distribuito. Un modello binario può continuare ad apprendere senza ricostruire quella grande copia di addestramento?
Il paper testa un ottimizzatore progettato per conservare soltanto piccole parti degli aggiornamenti non ancora applicati.
Error Diffusion sostituisce le copie di addestramento a precisione piena con piccoli buffer di aggiornamento e verifica se i modelli binari possono apprendere con questo stato ridotto.
Il paper confronta Error Diffusion con l’approccio standard a pesi latenti, che conserva una copia a precisione piena e i momenti dell’ottimizzatore per ogni peso binario.
In un MLP sintetico con larghezza 192, il buffer a 4 bit di ED ha ottenuto un’accuratezza media di test del 56,4% su cinque seed, vicina al 57,5% del riferimento, usando 5 invece di 97 bit di stato per peso.
I test sui modelli linguistici hanno poi trovato risultati vicini al riferimento latente in diverse configurazioni. Con un limite per aggiornamento, la loss di validazione del buffer a 8 bit variava da un valore inferiore del 2,3% a uno superiore del 2,9% rispetto al riferimento in sei combinazioni testate di dimensione del modello e corpus; la serie distinta con buffer a 4 bit aveva scarti maggiori e alcuni esperimenti su wikitext-103 divergevano.
Senza il limite, un esperimento ampio con un modello tokenizzato aveva uno scarto di loss maggiore. Questi risultati sostengono il metodo nelle ricette testate, compresa la condizione con il limite.
Questi risultati riguardano un MLP sintetico e test di validazione su modelli linguistici, con core binari fino a 19 milioni di parametri.
I test più lunghi su Shakespeare e alcuni confronti con modelli tokenizzati usano una sola esecuzione; lo studio non valuta attività a valle né l’efficienza in tempo reale.
Cosa mostrano le prove
- Sostituire la copia di addestramento
Error Diffusion (ED) è un ottimizzatore per addestrare reti neurali con pesi binari. La ricetta abituale conserva, accanto a ogni peso a un bit, un peso latente a precisione piena e due momenti dell’ottimizzatore: in totale, 97 bit di stato persistente di addestramento per peso.
ED verifica se si possa conservare lo stato in forma più piccola, accumulando gli aggiornamenti non ancora applicati e continuando comunque ad apprendere pesi utili.
- Confrontare accuratezza e stato
In un percettrone multistrato (MLP) sintetico con insegnante e studente, l’accuratezza di test misura quanto spesso lo studente classifica correttamente gli esempi tenuti da parte. Con larghezza 192, ED con un buffer a 4 bit ha ottenuto in media il 56,4% su cinque seed, vicino al 57,5% del riferimento latente; lo stato per peso era rispettivamente di 5 e 97 bit.
L’evidenza riguarda questo test sintetico, ma mostra che in questa situazione lo stato più piccolo può avvicinarsi al riferimento.
- Verificare l’effetto della griglia
La posizione della griglia del buffer ha avuto un ruolo sullo stesso MLP. Con un buffer a 4 bit, allineare la griglia alla soglia di inversione del peso ha portato l’accuratezza media di test dal 53,2% al 56,4% su cinque seed.
Anche un test separato di dithered Bop, che inverte i pesi quando una media del gradiente supera una soglia, ha mostrato un miglioramento allineando la griglia a pochi bit. Questi confronti sostengono che la posizione della soglia sia una regola di progettazione utile nei casi testati.
- Esaminare test linguistici più lunghi
Sul testo di Shakespeare a livello di carattere, dopo 2.000 passi ED con un buffer a 8 bit è rimasto entro il criterio di loss del 20% fissato dal paper rispetto all’addestramento latente, a tutte e tre le larghezze; dopo 50.000 passi, una singola esecuzione con larghezza 256 aveva una loss di validazione superiore dell’1,7%.
In sei abbinamenti tra modelli più grandi e corpus, ED con un buffer a 8 bit e aggiornamenti per passo limitati a 0,25 unità di inversione ha ottenuto una loss compresa tra il 2,3% sotto e il 2,9% sopra il riferimento. La serie distinta con buffer a 4 bit aveva scarti maggiori e alcuni esperimenti su wikitext-103 divergevano.
La condizione del limite è importante: senza di esso, un esperimento ampio su wikitext-103 aveva una loss superiore del 10,2%.
- Provare a continuare l’addestramento
Infine, gli autori hanno adattato ai byte di Shakespeare un modello binario già distribuito. Dopo 5.000 passi, la loss media di validazione di ED su tre seed era vicina a quella dell’addestramento continuato con pesi latenti, che ha dovuto ricreare l’intero stato di addestramento.
Un esperimento CPU separato, eseguito con un solo seed, è rimasto sotto il limite dichiarato di 275 MB di memoria aggiuntiva. Queste dimostrazioni descrivono i risultati delle configurazioni testate; restano aperte le domande su attività più ampie ed efficienza.
Dettagli
- Autori del paper originale
- Pierre-Olivier Bonin
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive