Une récompense d’entraînement équilibre contenu demandé et qualité des réponses
Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL · arXiv:2610.33512
En termes simples
Quand on entraîne un modèle à répondre à des questions ouvertes, le récompenser parce qu’il mentionne les éléments demandés peut aussi l’inciter à ajouter des détails inutiles ou incorrects.
Fork est une méthode de récompense qui demande à un évaluateur basé sur un modèle de langage de juger si chaque partie importante d’une réponse est nécessaire et factuellement exacte, en plus de vérifier si la réponse couvre les éléments demandés. Lors d’un test de réponses médicales, Fork a maintenu une couverture similaire à celle d’une récompense standard, tandis que les évaluateurs jugeaient les réponses plus précises et préféraient davantage le modèle entraîné.
La recherche
Quand un modèle est récompensé pour inclure chaque point demandé, comment éviter que l’entraînement l’incite à ajouter du contenu redondant ou incorrect ?
La couverture des critères indique si les éléments demandés apparaissent, mais ne juge pas à elle seule si chaque phrase ajoutée est nécessaire ou exacte.
Fork modifie la récompense d’entraînement en combinant la couverture des critères avec la précision de la réponse : chaque partie importante est-elle nécessaire et jugée factuellement exacte ?
Les auteurs ont entraîné Qwen2.5-7B-Instruct avec soit une couverture pondérée standard des critères, soit Fork, puis ont comparé les réponses sur le test RubricHub-Medical.
GPT-5.4, un évaluateur de référence distinct, a évalué la précision et le rappel des rubrics, puis indiqué quelle réponse il préférait au modèle de base.
Sur le jeu de test, la précision macro de Fork — la mesure agrégée rapportée, dont la règle détaillée de calcul de la moyenne n’est pas précisée dans l’article — était de 53.2%, contre 25.5% pour la couverture standard. Le rappel était de 32.5%, contre 35.7%.
Le taux de préférence de Fork face au modèle de base était de 68.0%, contre 3.1%. La comparaison suggère que l’ajout d’un objectif de précision a amélioré la qualité évaluée des réponses et la préférence, tout en maintenant la couverture des critères dans une plage similaire.
Les données portent sur Qwen2.5-7B-Instruct, les jeux de données et tests Medical et Science nommés, et des résultats évalués par des modèles de langage. Le caractère nécessaire et l’exactitude factuelle sont des jugements d’évaluateurs.
Les résultats ne permettent pas d’établir les performances pour des modèles, domaines, évaluateurs ou consignes d’évaluation autres que ceux examinés dans l’article.
Ce que montrent les preuves
- La couverture peut récompenser les ajouts
Fork est une méthode de récompense pour entraîner des modèles à répondre à des questions ouvertes en suivant des critères appelés rubrics. Elle répond au problème suivant : une récompense fondée sur la couverture peut inciter un modèle à inclure les éléments demandés tout en ajoutant du contenu inutile ou factuellement incorrect.
Fork ajoute une mesure de la qualité de la réponse à celle de la couverture ; la récompense d’entraînement tient ainsi compte à la fois des éléments inclus et du fait que les unités de réponse soient utiles et exactes selon un évaluateur.
- Comment Fork évalue les réponses
Pour estimer la qualité d’une réponse, Fork la découpe en unités de contenu, généralement de la longueur d’une phrase. Un évaluateur basé sur un modèle de langage associe les unités aux critères de la rubric et répartit entre les unités concernées le crédit de chaque critère, ce qui aide à réduire le poids des répétitions.
L’évaluateur juge aussi si les unités sont nécessaires et factuellement exactes. La précision correspond à la part des unités jugées à la fois nécessaires et exactes ; le rappel mesure la couverture des critères, pondérée selon leur importance. Fork combine ces mesures dans sa récompense d’entraînement.
- La couverture seule peut dégrader la qualité
La comparaison des courbes d’entraînement de Qwen2.5-7B-Instruct a utilisé RubricHub-Medical et un jeu de test médical. Avec la couverture standard comme récompense, le rappel a rapidement plafonné, tandis que la précision et la préférence face au modèle de base ont baissé et que les réponses se sont allongées.
Fork a atteint un rappel similaire, tandis que la précision et la préférence ont augmenté et que les réponses étaient moins longues. Dans ce cadre, la comparaison montre le type de problème que Fork vise à résoudre.
- La précision augmente avec un rappel similaire
Sur le test RubricHub-Medical, GPT-5.4, l’évaluateur de référence, a rapporté une précision macro de 53.2% pour Fork et de 25.5% pour la couverture standard ; le rappel était de 32.5% et de 35.7%. La précision macro est la mesure agrégée rapportée dans l’article, qui ne précise pas le détail de son calcul.
Dans des comparaisons distinctes avec le modèle de base, le taux de préférence était de 68.0% pour Fork et de 3.1% pour la couverture standard. Dans cette comparaison, les gains rapportés en préférence et en précision s’accompagnaient donc d’un rappel situé dans une plage similaire.
- Vérifications dans d’autres cadres d’évaluation
Un contrôle a évalué les méthodes fondées sur une rubric sur RubricHub-Medical avec l’évaluateur utilisé pendant l’entraînement, afin d’examiner la formulation de la récompense sans l’évaluation par un évaluateur de référence plus puissant qui n’avait pas été utilisé pendant l’entraînement.
Fork a obtenu les taux de préférence les plus élevés parmi ces méthodes. Sur HealthBench, un test externe de réponses médicales, le taux de préférence de Fork face au modèle de base était de 74.1%, contre 7.1% pour la couverture standard, avec un rappel de la rubric similaire. Ces deux résultats se limitent aux cadres d’évaluation indiqués.