Un confronto aggiornato riduce il divario di calcolo per i modelli a diffusione

Una stima ampiamente citata sostiene che i modelli linguistici a diffusione mascherata richiedano circa 16 volte la potenza di calcolo per l’addestramento dei modelli autoregressivi per raggiungere le stesse prestazioni di validazione.

Il divario regge quando i modelli a diffusione sono valutati secondo la verosimiglianza del loro consueto ordine di rivelazione dei token e adottano architetture basate su blocchi?

Gli autori confrontano la crescita del calcolo necessario ai modelli linguistici usando un criterio di verosimiglianza aggiornato e architetture basate su blocchi, per misurare quanto cambi il divario precedente.

Gli autori confrontano modelli linguistici a diffusione mascherata e autoregressivi con un’analisi aggiornata delle scaling law a parità di calcolo. Per la diffusione, DUEL misura la log-verosimiglianza negativa esatta secondo l’ordine abituale con cui il modello rivela i token di cui è più sicuro.

Gli autori adattano le prestazioni ai diversi budget di addestramento e confrontano il calcolo necessario a ciascuna famiglia per raggiungere la stessa loss.

Usando gli stessi checkpoint di diffusione sull’intera sequenza, a 10^20 FLOPs il compute multiple adattato scende da 17.8 con l’evidence lower bound a 12.8 con DUEL. La diffusione a blocchi con encoder e decoder riduce ulteriormente il divario, fino a 3.0 nel confronto adattato con blocchi di dimensione 4.

Una verifica con un budget più alto, per blocchi di dimensione 16 e 32, rileva divari vicini alle previsioni adattate.

Il confronto riguarda i modelli, i dati, la ricetta di addestramento, il criterio di valutazione e l’intervallo di calcolo adattato esaminati in questo studio.

Lo studio ha usato un solo seme casuale e una sola configurazione di learning rate e batch size; inoltre, DUEL è stato valutato soltanto con la regola che rivela per primo il token con la confidenza più alta.