Una recompensa de entrenamiento equilibra el contenido solicitado y la calidad de las respuestas
Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL · arXiv:2610.33512
En palabras sencillas
Al entrenar un modelo para responder preguntas abiertas, recompensarlo por incluir los puntos solicitados también puede animarlo a añadir detalles innecesarios o incorrectos. Fork es un método de recompensa que pide a un evaluador basado en un modelo de lenguaje que juzgue si cada parte sustantiva de una respuesta es necesaria y correcta según los hechos, además de comprobar si cubre los puntos solicitados.
En una prueba de respuestas médicas, Fork mantuvo una cobertura similar a la de una recompensa estándar, mientras los evaluadores consideraron que sus respuestas eran más precisas y prefirieron con mayor frecuencia el modelo entrenado.
La investigación
Cuando se recompensa a un modelo por incluir todos los puntos solicitados, ¿cómo puede el entrenamiento evitar que añada contenido redundante o incorrecto?
La cobertura de una rúbrica registra si aparecen los elementos pedidos, pero por sí sola no evalúa si cada oración adicional es necesaria o precisa.
Fork modifica la recompensa de entrenamiento para combinar la cobertura de la rúbrica con la precisión de la respuesta: si cada parte sustantiva es necesaria y el evaluador la considera correcta según los hechos.
Los autores entrenaron Qwen2.5-7B-Instruct con cobertura ponderada estándar de rúbrica o con Fork y luego compararon las respuestas en el conjunto de prueba de RubricHub-Medical.
GPT-5.4, un evaluador de referencia independiente, midió la precisión y la exhaustividad de la rúbrica y juzgó cuál respuesta prefería frente al modelo base.
La precisión macro de Fork en el conjunto de prueba (la medida agregada reportada, cuyo método detallado de cálculo del promedio no se especifica en el artículo) fue del 53.2%, frente al 25.5% de la cobertura estándar; la exhaustividad fue del 32.5%, frente al 35.7%.
Su tasa de victorias frente al modelo base fue del 68.0%, frente al 3.1%. La comparación sugiere que añadir un objetivo de precisión mejoró la calidad juzgada de las respuestas y la preferencia, a la vez que mantuvo la cobertura de la rúbrica en un rango similar.
La evidencia se limita a Qwen2.5-7B-Instruct, los datos y las pruebas de Medicina y Ciencia mencionados, y resultados evaluados por modelos de lenguaje.
La necesidad y la corrección factual son juicios de los evaluadores; los hallazgos no establecen el rendimiento con modelos, dominios, evaluadores o instrucciones para evaluarlos distintos de los examinados en el artículo.
Qué muestran las pruebas
- La cobertura puede premiar contenido adicional
Fork es un método de recompensa para entrenar modelos a responder preguntas abiertas según criterios llamados rúbricas. Aborda el problema de que las recompensas por cobertura pueden animar a un modelo a incluir el contenido solicitado y, al mismo tiempo, añadir material innecesario o factualmentemente incorrecto.
Fork añade una medida de calidad de respuesta a la cobertura, de modo que la recompensa del entrenamiento considera tanto qué se incluye como si, según un evaluador, las unidades de respuesta son útiles y correctas.
- Cómo Fork evalúa las respuestas
Para estimar la calidad de una respuesta, Fork la divide en unidades con contenido sustantivo, de una extensión aproximada a una oración. Un evaluador basado en un modelo de lenguaje relaciona las unidades con los criterios de la rúbrica y reparte el crédito de cada criterio entre las unidades que lo abordan, lo que ayuda a descontar las repeticiones.
El evaluador también etiqueta las unidades según su necesidad y corrección factual. La precisión es la proporción de unidades consideradas necesarias y correctas; la exhaustividad mide la cobertura ponderada de la rúbrica. Fork combina estas medidas en la recompensa de entrenamiento.
- La cobertura por sí sola pierde calidad
La comparación de las curvas de entrenamiento de Qwen2.5-7B-Instruct utilizó RubricHub-Medical y un conjunto de prueba del mismo dominio. Con la cobertura estándar como recompensa, la exhaustividad se estancó rápidamente, mientras que la precisión y la preferencia frente al modelo base bajaron y las respuestas se hicieron más extensas.
Fork alcanzó una exhaustividad similar, mientras que la precisión y la preferencia aumentaron y las respuestas fueron menos extensas. Esta comparación muestra el patrón que Fork busca abordar en ese contexto.
- Aumentó la precisión con una exhaustividad similar
En el conjunto de prueba de RubricHub-Medical, GPT-5.4, el evaluador de referencia, informó una precisión macro (la medida agregada reportada, cuyo método detallado de cálculo del promedio no se especifica en el artículo) del 53.2% para Fork y del 25.5% para la cobertura estándar; la exhaustividad fue del 32.5% y del 35.7%.
En comparaciones independientes con el modelo base, la tasa de victorias fue del 68.0% para Fork y del 3.1% para la cobertura estándar. Por tanto, en esta comparación, las mejoras reportadas de preferencia y precisión se dieron con una exhaustividad en un rango similar.
- Comprobaciones más allá de la comparación principal
Un control evaluó métodos basados en rúbricas en RubricHub-Medical con el evaluador de entrenamiento, para examinar la formulación de la recompensa por separado de la evaluación con un evaluador más potente que no se había usado para entrenar.
Fork tuvo las tasas de victorias más altas entre esos métodos en este control. En HealthBench, una prueba externa de respuestas médicas, la tasa de victorias de Fork frente al modelo base fue del 74.1%, frente al 7.1% de la cobertura estándar, con una exhaustividad de rúbrica similar. Ambos hallazgos se limitan a los contextos de evaluación indicados.