I modelli linguistici paralleli coordinano più previsioni di token insieme

Un modello linguistico può generare più token in un solo passaggio senza perdere le dipendenze necessarie per mantenere coerente la risposta? I modelli autoregressivi producono un token per passaggio, e questo può rendere lenta l’inference man mano che i modelli crescono. Le previsioni parallele potrebbero ridurre il ritardo, ma devono poter essere coordinate.

I Parallel Language Models addestrano insieme un encoder autoregressivo e un decoder parallelo, usando segnali ausiliari per coordinare più previsioni di token in un solo passaggio.

Gli autori hanno sottoposto a post-training un PLM da 1,3 miliardi di parametri e lo hanno confrontato con un modello autoregressivo della stessa dimensione.

Su GSM8K, un test di problemi matematici valutato in base alla correttezza delle risposte, il PLM ha raggiunto il 32,6% contro il 27,9%; ha elaborato 5,2 domande al secondo contro 0,9, su una GPU con batch size uno.

Il risultato mostra che questa configurazione del PLM ha ottenuto prestazioni migliori in quel test matematico e ha elaborato le domande più velocemente nella configurazione riportata. Il confronto modifica sia l’addestramento sia il decoding, quindi non isola l’effetto della generazione parallela.

Il risultato su GSM8K proviene da un solo seed di post-training e gli autori hanno selezionato i checkpoint in base all’accuratezza su GSM8K: è quindi un confronto circoscritto, non un test finale indipendente. Il paper non riporta inoltre un modello autoregressivo da 3B come termine di confronto.