Le remasquage aléatoire aide les modèles de diffusion à réviser leurs séquences

Un modèle de diffusion masquée peut-il corriger un mauvais jeton qu’il a déjà révélé, et la théorie peut-elle décrire sa génération réelle lorsque son modèle de débruitage est imparfait ? Le décodage standard fige les jetons révélés, tandis que les analyses antérieures évoquées portent sur des modèles de débruitage idéaux.

On ne sait donc pas clairement ce qu’apporte une correction répétée avec les modèles appris utilisés en pratique.

Les auteurs modélisent l’inférence comme une suite de remasquages et de débruitages, établissent une borne pour les modèles de débruitage imparfaits et s’en servent pour concevoir R²D, une méthode adaptative.

Avec des modèles entraînés de manière standard, l’ajout de corrections fait passer la précision de R²D de 19.7% à 93.5% sur Sudoku-Hard et de 86.0% à 98.5% sur 3-SAT ; ReMDM progresse aussi, mais reste en dessous aux budgets présentés. Avec le même modèle entraîné par TCT et les budgets propres à chaque tâche, R²D obtient 97.5% contre 92.3% sur Sudoku-Hard et 99.3% contre 96.5% sur 3-SAT.

Cette comparaison à conditions égales étaye l’avantage supplémentaire de la procédure d’inférence de R²D dans ces configurations.

La règle d’arrêt vérifie si la séquence prédite reste identique d’une étape répétée à l’autre ; elle ne mesure pas directement la distance par rapport à la distribution des données. Les résultats présentés portent sur deux tâches logiques et un test de programmation, dans des configurations de modèles et d’entraînement distinctes.

Ils ne permettent donc pas d’établir les performances de tous les modèles de diffusion masquée ni de toutes les familles de tâches.