Une politique de bruit guide les générateurs rapides sans les modifier

Les générateurs à peu d’étapes peuvent produire une sortie en seulement quelques passages du modèle, mais il est difficile de les orienter vers une qualité souhaitée lorsque les scores de récompense ne fournissent pas de gradients exploitables.

L’article examine si ces scores peuvent guider la génération sans modifier le générateur ni rechercher à répétition une meilleure entrée pour chaque nouvelle sortie.

Noise Policy Optimization entraîne une transformation réutilisable du bruit d’entrée autour d’un générateur gelé afin d’orienter ses sorties à l’aide de récompenses sans gradients exploitables.

L’article cherche comment orienter des générateurs à peu d’étapes lorsque les scores de récompense ne fournissent pas de gradients exploitables, tout en conservant l’efficacité de sorties produites en quelques passages du modèle.

Noise Policy Optimization apprend une transformation réutilisable du bruit d’entrée et laisse le générateur gelé.

Par rapport à l’ajustement direct, NPO a amélioré les récompenses tout en préservant mieux les qualités mesurées des images, des textes et des protéines dans les tâches testées. Par rapport à la recherche de bruit pour chaque échantillon, elle a égalé ou dépassé les récompenses avec un coût d’inférence inférieur. Ces résultats étayent l’intérêt d’apprendre la recherche une fois pour la réutiliser.

Les résultats portent sur les tâches testées en génération d’images, de texte et de protéines, ainsi que sur les générateurs et les mesures de récompense associés. NPO augmente aussi le coût d’inférence : dans les configurations étudiées, celui-ci représentait environ 2,2 à 2,6 fois le coût du générateur gelé utilisé seul.