Las pruebas controladas muestran que la decodificación restringida no tiene por qué reducir la precisión
Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance · arXiv:2610.35328
En palabras sencillas
A veces, los modelos de lenguaje no dan una respuesta con la forma requerida, como un objeto JSON. Este artículo estudia si las reglas que limitan las palabras que puede generar un modelo también hacen menos preciso su razonamiento.
Los autores comparan las respuestas manteniendo iguales la instrucción y el formato requerido. En esas comparaciones, exigir el formato y excluir las respuestas que no encajan con la tarea igualó o mejoró la precisión. El resultado se aplica a los modelos y las tareas evaluados; no significa que cualquier tipo de restricción ayude.
La investigación
Cuando un modelo de lenguaje debe devolver una respuesta estructurada, puede no respetar el formato requerido. En comparaciones anteriores también se observó menor precisión al razonar en formatos estructurados, pero las instrucciones y los formatos cambiaban al mismo tiempo. ¿Limitar los tokens que puede producir un modelo causa esa pérdida de precisión?
El artículo distingue entre restricciones de formato, de validez de respuesta y de razonamiento, y evalúa si limitar los tokens generados cambia la precisión cuando las instrucciones y los formatos se mantienen iguales.
Para determinar si las restricciones de tokens reducen por sí mismas la precisión del razonamiento, los autores comparan la generación restringida con la no restringida manteniendo iguales la instrucción y el formato de salida requerido.
Solo consideran correcta una respuesta si coincide exactamente con la respuesta de referencia extraída.
En los modelos y las tareas evaluados, las restricciones de formato y de validez igualan o superan a la generación sin restricciones.
Esto sugiere que una menor precisión entre formatos de respuesta distintos no demuestra por sí sola que la decodificación restringida sea perjudicial, porque esas comparaciones también cambian las instrucciones y los formatos.
Los experimentos abarcan modelos, instrucciones, formatos y tareas de razonamiento específicos; las restricciones de validez se probaron principalmente en dos tareas de concatenación de letras. El resultado teórico también depende de que la restricción permita la respuesta correcta.
Qué muestran las pruebas
- Separar el formato de la decodificación
Este artículo presenta una taxonomía y experimentos sobre la decodificación restringida, que limita los tokens que puede generar un modelo de lenguaje. La pregunta es si la menor precisión que a veces se observa en respuestas estructuradas se debe a esas restricciones o a diferencias en las instrucciones y los formatos requeridos.
La distinción importa al interpretar las comparaciones: si cambian varias condiciones a la vez, una diferencia de precisión no permite determinar cuál de esos cambios la explica.
- La diferencia de formato tiene factores de confusión
Los autores comparan el razonamiento en JSON con métodos que permiten razonar libremente y dar formato a la respuesta después. La precisión difiere, pero también cambian las instrucciones y los formatos esperados.
Esta observación motiva una comparación más controlada; por sí sola, no demuestra que la decodificación restringida haya causado la diferencia.
- Las comparaciones controladas ponen a prueba la causa
En la comparación más directa, se mantienen iguales la instrucción y el formato de salida esperado mientras se contrasta la generación restringida con la no restringida. La precisión significa que la respuesta extraída coincide exactamente con la respuesta correcta.
En los modelos y las tareas evaluados, las restricciones de formato y de validez igualan o superan a la generación sin restricciones, lo que debilita la afirmación de que limitar los tokens reduce necesariamente la precisión en estas condiciones.
- El efecto depende del tipo de restricción
El artículo distingue entre reglas que imponen una estructura y reglas que además excluyen respuestas fuera del conjunto permitido para una tarea.
En dos tareas de concatenación de letras, añadir reglas de validez suele dar mejoras de precisión más consistentes que usar solo reglas de formato. Los patrones de razonamiento obligatorios tienen un efecto menos uniforme: pueden ayudar, pero en una de las combinaciones evaluadas de modelo y tarea matemática, añadir ese patrón redujo la precisión.
Detalles
- Autores del paper original
- Ngoc Trinh Hung Nguyen, Alonso Silva, Armen Aghasaryan, Mehwish Alam
- Enviado a arXiv
- Licencia
- CC BY 4.0