Un Transformer offre cinque budget di calcolo con pesi condivisi
Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping · arXiv:2610.32492
In parole semplici
Accordion è un metodo basato su Transformer che permette a un modello linguistico di usare cinque quantità diverse di calcolo. Riutilizza gli stessi pesi e, con i budget più alti, ripete alcuni layer selezionati; al budget più basso segue il percorso senza ripetizioni.
Gli autori hanno confrontato i percorsi sulle stesse 37 attività, che coprono conoscenze, buon senso, ragionamento, matematica e programmazione. Il punteggio medio delle cinque categorie è stato più alto con il budget massimo che con il percorso senza ripetizioni, ma il risultato riguarda il modello e le attività effettivamente testati.
La ricerca
Un modello linguistico potrebbe dover usare quantità diverse di calcolo per richieste diverse. Addestrare e mantenere un modello separato per ogni quantità è costoso, mentre addestrare insieme percorsi di diversa profondità può indebolire quello meno profondo. Un unico modello può offrire più budget di calcolo mantenendo utile l’opzione meno costosa?
Accordion è un metodo basato su Transformer con pesi condivisi che ripete layer selezionati per offrire cinque budget di inference.
Gli autori confrontano Accordion-Base a cinque budget di inference, mantenendo fissi pesi del modello, attività, esempi e configurazioni di valutazione.
Sulle 37 attività in cinque categorie, la media che assegna lo stesso peso a ogni categoria passa da 47.05 nel percorso senza ripetizioni a 50.06 nel percorso più profondo, con punteggi più alti in 36 attività.
Uno studio più piccolo, con lo stesso numero di token, rileva inoltre che la perdita di validazione del modello condiviso è entro 0.0030 nat da quella di modelli specialistici a tre budget testati.
Nel complesso, questi risultati supportano l’uso di pesi condivisi per offrire diversi livelli di calcolo testati, mantenendo la qualità nelle attività misurate.
Il risultato sulle 37 attività è un aggregato descrittivo. Le stime appaiate dell’incertezza sono state riportate per una suite separata di 18 attività principali, quindi non quantificano l’incertezza del risultato complessivo sulle 37 attività.
Cosa mostrano le prove
- Un modello, cinque budget
Accordion è un metodo basato su Transformer che usa gli stessi pesi per offrire cinque budget di inference. Il budget più basso segue il percorso normale; quelli più alti ripetono un prefisso di layer intermedi selezionati.
Il metodo affronta un compromesso possibile quando si addestrano insieme percorsi di diversa profondità: il modello potrebbe guadagnare un’opzione più profonda ma perdere qualità su quella meno profonda. Gli autori chiedono se percorsi fissi con pesi condivisi possano mantenere entrambe le opzioni senza un modello distinto per ogni budget.
- Quali layer ripetere
Per scegliere quali layer ripetere, gli autori hanno confrontato otto strategie in uno studio di design con 1.61 miliardi di parametri. Ogni configurazione è stata addestrata una volta su 80 miliardi di token, con la stessa profondità media attesa durante l’addestramento, e valutata sullo stesso testo web tenuto da parte.
La selezione di un prefisso fisso nei layer 7–18 ha ottenuto la perdita di validazione osservata più bassa a ogni budget con layer ripetuti e la media più bassa sui cinque budget. Ogni strategia è stata valutata con i rispettivi percorsi specificati per addestramento e inference.
- Verifica dei percorsi condivisi
Un confronto separato ha messo un modello condiviso a confronto con modelli specialistici, ciascuno addestrato per un solo budget. Con 80 miliardi di token di addestramento per modello e lo stesso grafo di inference a ciascun budget confrontato, la perdita di validazione del modello condiviso è risultata entro 0.0030 nat da quella del modello specialistico ai budget 0, 6 e 12.
In un controllo con lo stesso numero di token, il campionamento uniforme dei budget ha inoltre ottenuto una perdita media di validazione inferiore rispetto al controllo che riservava repliche al percorso senza ripetizioni; la differenza riguarda specificamente quel confronto.
- Più calcolo, punteggi più alti
Su Accordion-Base, gli autori hanno modificato il percorso di inference mantenendo fissi pesi, attività, esempi e configurazioni di valutazione. Le 37 attività esaminano conoscenze e risposte a domande, buon senso, ragionamento, matematica e programmazione.
Il punteggio calcola la media delle attività in ciascuna categoria e assegna lo stesso peso alle medie delle cinque categorie. È passato da 47.05 al budget senza ripetizioni a 50.06 con il budget massimo, con punteggi più alti in 36 attività su 37.
- Integrare tre modelli di dominio
Il metodo ha mantenuto i cinque budget di inference anche nel post-training. Gli autori hanno combinato gli aggiornamenti di modelli per seguire istruzioni, matematica e programmazione, poi hanno addestrato un solo studente sulle proprie risposte usando segnali a livello di token forniti dal modello dello stesso dominio e allo stesso budget.
Sui cinque budget, lo studente ha superato ciascun modello di dominio corrispondente nella media delle attività di quel dominio, con tutti e tre gli intervalli appaiati al 95% sopra zero. Il risultato riguarda quelle medie di dominio e quelle valutazioni.
Dettagli
- Autori del paper originale
- Yudong Zhang, Wei Ding, Kaili Zheng, Yuchen Ding, Zhenyu Zhang
- Inviato ad arXiv
- Licenza
- CC BY 4.0