Il remasking casuale permette ai modelli diffusion di rivedere e migliorare le sequenze

Un modello di masked diffusion può recuperare da un token sbagliato che ha già rivelato? E la teoria può descrivere la generazione effettiva quando il denoiser è imperfetto?

La decodifica standard blocca i token rivelati, mentre le analisi precedenti discusse nel paper riguardano denoiser ideali. Rimane quindi poco chiaro che cosa comportino le correzioni ripetute con i modelli appresi usati nella pratica.

Gli autori descrivono l’inference come remasking e denoising ripetuti, derivano un limite per denoiser imperfetti e lo usano per progettare R²D adattivo.

Con checkpoint addestrati con il metodo standard, più cicli di correzione hanno portato l’accuratezza di R²D dal 19.7% al 93.5% su Sudoku-Hard e dall’86.0% al 98.5% su 3-SAT; anche ReMDM è migliorato, ma è rimasto inferiore a R²D ai budget riportati.

Con lo stesso checkpoint addestrato con TCT e budget specifici per ciascuna attività, R²D ha ottenuto il 97.5% contro il 92.3% su Sudoku-Hard e il 99.3% contro il 96.5% su 3-SAT. Il confronto a parità di condizioni sostiene un vantaggio aggiuntivo della procedura di inference di R²D in queste impostazioni.

La regola di arresto del metodo verifica se la sequenza prevista resta invariata dopo passaggi ripetuti; non misura direttamente la distanza dalla distribuzione dei dati.

I risultati riportati riguardano due attività logiche e un test di programmazione, in impostazioni diverse per modello e addestramento: non stabiliscono le prestazioni di tutti i modelli di masked diffusion o di tutte le famiglie di attività.