La compilazione parallela accelera il controllo dei modelli linguistici ad azioni finite

Quando un modello linguistico deve scegliere tra un insieme limitato di azioni, può far dipendere le scelte successive da quelle precedenti senza eseguire un passaggio separato del modello per ogni token generato?

Il paper esamina se sia possibile calcolare in parallelo le decisioni del controller preservando la stessa regola, che dipende dalla cronologia.

Il metodo valuta in parallelo i prefissi di azioni raggiungibili, preservando le scelte di un controller con azioni finite e sostituendo la decodifica token per token con due passaggi del modello.

Gli autori compilano in due passaggi del modello un controller vincolato che seleziona sezioni di documenti: il primo determina la scelta iniziale, il secondo valuta insieme le scelte successive raggiungibili, preservando la cronologia di ciascuna.

In questo modo il controller mantiene la propria regola decisionale sequenziale senza generare il testo vincolato un token alla volta.

Su QASPER, un dataset di articoli scientifici usato per rispondere a domande tramite retrieval gerarchico delle sezioni, il controllo compilato ha riprodotto l’intero percorso del controller seriale per l’84–89% delle domande in ciascuno dei quattro split, con un modello da 7B.

Ha ridotto del 35–41% la latenza media per domanda. Le differenze misurate si sono verificate in situazioni di quasi parità con precisione finita, mentre la dimostrazione di equivalenza presuppone aritmetica esatta.

Il risultato di equivalenza esatta presuppone calcoli esatti e maschere, ordine dei candidati e criteri di spareggio corrispondenti.

Nelle esecuzioni testate in precisione finita, le decisioni in situazioni di quasi parità talvolta differivano; il controller di retrieval valutato usava orizzonti fino a tre azioni, mentre il carico di lavoro parallelo cresce rapidamente con orizzonti più lunghi.