Relaciona cada decisión de destilación con lo que se midió

Un equipo que destila un modelo puede supervisar menos tokens generados, cambiar quién genera las respuestas de entrenamiento o pedirle que produzca una respuesta en menos pasos de decodificación. Cada opción modifica una parte distinta del proceso, así que una mejora de calidad con una opción no demuestra un ahorro común de cómputo o de memoria almacenada.

Los estudios ofrecen una regla práctica para empezar: especificar la opción, el comportamiento que se mide y la comparación antes de interpretar un resultado. Las mejoras informadas corresponden a tareas y protocolos concretos.

Imagina que entrenas un modelo pequeño para resolver un problema de matemáticas con ayuda de un profesor más potente. El estudiante redacta su propia respuesta y el profesor le da retroalimentación sobre las palabras y los símbolos que genera, llamados tokens.

Aplicar esa retroalimentación en cada token parece exhaustivo. Sin embargo, un método de entrenamiento con tokens muestreados solo obtiene una impresión ruidosa de las preferencias del profesor en cada posición. La pregunta para este equipo es si cada dato de retroalimentación disponible ayuda al estudiante a aprender a razonar, o si conviene prestar más atención a algunas posiciones.

Una segunda decisión tiene que ver con la respuesta que se usa para entrenar. El equipo puede pedir repetidamente al estudiante actual que genere respuestas y luego consultar al profesor a lo largo de ellas.

Eso se llama destilación on-policy. También puede entrenarlo con respuestas generadas por el profesor, la opción off-policy que se evalúa en un estudio controlado.

La distinción cambia qué respuestas parciales encuentra el estudiante durante el entrenamiento. Por sí sola, no dice nada sobre cómo se comparan las predicciones del profesor con las del estudiante ni sobre si este conservará sus capacidades anteriores.

Supongamos ahora que el modelo también debe describir una imagen o generar una. En el estudio multimodal, comienza con posiciones enmascaradas y las completa en varios pasos de decodificación. Pedirle que termine en menos pasos significa decidir más posiciones a la vez; en el caso del texto, esas posiciones no pueden aprovechar las palabras recién elegidas en las demás. Estas tres situaciones plantean un mismo problema de decisión: identificar qué opción de entrenamiento o decodificación cambia y luego preguntar qué resultado se midió realmente bajo esa opción.