Una comparación revisada reduce la brecha de cómputo de los modelos de difusión

Una estimación muy citada afirma que los modelos de lenguaje de difusión enmascarada necesitan unas 16 veces más cómputo de entrenamiento que los modelos autorregresivos para alcanzar el mismo rendimiento de validación. ¿Se mantiene esa brecha cuando se puntúa la difusión según la verosimilitud de su orden habitual para revelar tokens y se usan diseños por bloques?

Los autores comparan la escala del cómputo de los modelos de lenguaje con una puntuación de verosimilitud actualizada y diseños por bloques para medir cuánto cambia la brecha anterior.

Los autores comparan modelos de difusión enmascarada con modelos autorregresivos mediante un análisis actualizado de leyes de escala con cómputo igualado. Para los modelos de difusión, DUEL calcula la log-verosimilitud negativa exacta siguiendo el orden habitual del modelo para revelar tokens, empezando por los de mayor confianza.

Los autores ajustan el rendimiento con distintos presupuestos de entrenamiento y comparan cuánto cómputo necesita cada familia para alcanzar la misma pérdida.

Con los mismos puntos de control de difusión de secuencia completa, la proporción de cómputo ajustada en 10^20 FLOPs baja de 17.8 con la cota inferior de evidencia a 12.8 con DUEL. La difusión por bloques con codificador y decodificador la reduce más: llega a 3.0 en la comparación ajustada con bloques de tamaño 4.

Una comprobación con un presupuesto mayor encuentra brechas cercanas a las predicciones ajustadas para bloques de tamaño 16 y 32.

La comparación abarca los modelos, los datos, la receta de entrenamiento, la regla de puntuación y el rango de cómputo ajustado que se probaron aquí.

El estudio usó una semilla aleatoria y una sola configuración de tasa de aprendizaje y tamaño de lote; además, DUEL se evaluó únicamente con la regla que revela primero el token de mayor confianza.