Une méthode phrase par phrase réduit les distractions ciblées en questions médicales
EXCISE: Locating and Excising Distracting Sentences in Medical Question Answering · arXiv:2610.35558
En termes simples
Une question médicale peut contenir une phrase inutile qui pousse un modèle vers la mauvaise réponse, même si elle ne change pas la réponse correcte. Excise vérifie quelle phrase influence le plus la réponse du modèle et si elle semble déplacée dans le cas.
Lors de tests sur trois modèles, la méthode a amélioré la précision lorsque les phrases ajoutées favorisaient de mauvaises réponses. La précision a légèrement baissé sur les questions sans ajout : la méthode n’a donc pas aidé dans tous les cas.
La recherche
Un modèle de questions-réponses médicales peut-il ignorer une phrase inutile qui l’oriente vers une mauvaise option sans perdre aussi des éléments utiles ?
La phrase qui influence le plus une réponse pourrait contenir un détail clinique essentiel : son influence, à elle seule, ne suffit donc pas à justifier son blocage.
Excise repère la phrase qui influe le plus sur une réponse médicale, puis ne la bloque que si sa représentation interne s’accorde mal avec le cas.
Un modèle peut-il bloquer une phrase inutile qui oriente sa réponse sans supprimer aussi des éléments utiles ? Les auteurs ont évalué le blocage de phrases dans un diagnostic sur quatre modèles : des masques d’attention fixes ont nui à la précision lorsque la phrase ajoutée indiquait la bonne option, tandis que le blocage de cette phrase connue a maintenu une précision similaire dans les deux conditions.
Excise mesure l’effet de chaque phrase sur la réponse et ne bloque la plus influente que si le modèle la signale comme incohérente avec le cas. Sur MedQA with Targeted Distractors, un test qui ajoute des phrases préservant la bonne réponse mais favorisant des options erronées, trois modèles ont gagné de 16.7 à 22.8 points de précision par rapport à l’absence d’intervention ; la précision a baissé de 1.5 à 2.1 points sur les questions sans ajout.
Les données proviennent de distracteurs synthétiques qui préservent la réponse, dans des tests médicaux à choix multiples menés avec des modèles dont les signaux internes sont accessibles. Excise ne corrige pas les affirmations médicales fausses et ne démontre pas que la méthode est prête pour un usage clinique. Elle exige aussi au moins trois phrases de récit et augmente fortement le coût d’inférence.
Ce que montrent les preuves
- Une distraction ciblée
Excise est une méthode appliquée au moment où le modèle répond à une question médicale. Elle cible un problème précis : une phrase peut être inutile pour déterminer la bonne réponse tout en poussant le modèle vers une option erronée particulière.
Les auteurs ont créé MedQA with Targeted Distractors, un test qui ajoute des phrases préservant la bonne réponse et conçues pour favoriser de mauvaises options. Sur ces questions, neuf modèles à poids ouverts ont perdu de 19 à 32 points de pourcentage de précision par rapport aux questions correspondantes sans ajout.
- Pourquoi repérer la phrase
Les auteurs ont cherché à savoir si une intervention générale pouvait supprimer la distraction sans en repérer la source. Dans un diagnostic sur quatre modèles, des masques fixes appliqués aux têtes d’attention ont amélioré la précision quand une phrase ajoutée favorisait une mauvaise option, mais l’ont fortement réduite quand cette phrase indiquait la bonne réponse.
Le blocage de la phrase ajoutée connue a plutôt donné des résultats similaires dans les deux conditions. Cette comparaison montre pourquoi l’intervention doit distinguer, pour chaque question, un contenu distrayant d’un élément utile.
- Un signal de discordance
Les auteurs ont trouvé un signal susceptible d’aider à faire cette distinction. Ils ont comparé la représentation interne de chaque phrase lue seule à celle du reste du cas, lui aussi lu seul.
Pour les questions sans ajout, la phrase qui influençait le plus la réponse était rarement celle qui s’accordait le moins avec le cas. Lorsqu’un distracteur avait transformé une bonne réponse en mauvaise réponse, il s’agissait de la phrase la plus discordante dans 78–93% des cas, sur trois tests.
- Une intervention sélective
Excise effectue deux vérifications : la méthode mesure dans quelle mesure le blocage de chaque phrase affaiblit la réponse actuelle, puis vérifie si la phrase la plus influente semble incohérente avec le reste du cas. Pour trois modèles, elle a augmenté la précision de 16.7 à 22.8 points sur MedQA with Targeted Distractors, par rapport à l’absence d’intervention, tout en faisant baisser de 1.5 à 2.1 points la précision sur les questions sans ajout.
Ces résultats étayent une aide sélective dans ces tests, avec un coût qui subsiste sur les questions sans ajout.
- Portée des données
Avec une phrase hors sujet supplémentaire, Excise a obtenu une précision supérieure de 7.2 à 10.0 points à celle d’une version qui choisissait les phrases uniquement selon leur discordance. La méthode a également amélioré la précision sur MedDistractQA et BiasMedQA, deux autres tests de questions médicales.
Ces résultats élargissent les situations évaluées, mais les distracteurs étaient synthétiques et la méthode nécessite l’accès aux signaux internes du modèle. Les auteurs précisent qu’elle n’a pas été validée pour un usage clinique.
Détails
- Auteurs de l’article original
- Yerim Hong, Sohyun Son, Heeseung Chung, Mujeen Sung
- Soumis à arXiv
- Licence
- arXiv non-exclusive