Un método guía las respuestas mientras revisa el contexto de cada pregunta

¿Pueden los comentarios sobre la respuesta de un modelo hacer algo más que reescribir sus instrucciones? El artículo pregunta si también pueden controlar directamente cómo se genera la respuesta siguiente.

Las actualizaciones del contexto ya cambian las preferencias por tokens, pero la generación habitual no ofrece un control aparte sobre la intensidad de ese cambio.

EMO revisa el contexto de una pregunta a partir de los comentarios de un evaluador y luego usa ese cambio para guiar las elecciones de tokens cuando un modelo congelado vuelve a responder.

Los investigadores probaron ocho modelos en seis pruebas de razonamiento y combinaron las dos ediciones de AIME en un grupo de tareas.

En 40 pares de modelo y grupo de tareas, la exactitud de EMO, puntuada mediante reglas, superó a la de la generación sin ejemplos en 39, con una mejora media de 9.10 puntos porcentuales.

La corrección se comprobó frente a respuestas de referencia con reglas específicas para cada tarea, mientras que un evaluador separado guio las revisiones sin ver esas respuestas. Esto respalda una mejora del procedimiento completo de EMO con decodificación codiciosa.

La demostración garantiza una reducción de la divergencia KL respecto al objetivo en una ronda solo si la actualización del contexto mejora esa medida, la dirección real del ajuste se alinea positivamente con el objetivo y la intensidad del ajuste es lo bastante pequeña. No garantiza mayor exactitud, mejoras entre rondas ni transferencia más allá de las pruebas de razonamiento evaluadas y las dos familias de modelos.