Un método por oración reduce las distracciones dirigidas en preguntas médicas
EXCISE: Locating and Excising Distracting Sentences in Medical Question Answering · arXiv:2610.35558
En palabras sencillas
Una pregunta médica puede incluir una oración irrelevante que incline al modelo hacia una respuesta equivocada, aunque esa oración no cambie cuál es la respuesta correcta. Excise comprueba qué oración influye más en la respuesta del modelo y si parece fuera de lugar en el caso.
En pruebas con tres modelos, Excise mejoró la precisión cuando las oraciones favorecían respuestas incorrectas. La precisión bajó un poco en preguntas limpias, así que el método no ayudó en todos los casos.
La investigación
¿Puede un modelo de preguntas médicas ignorar una oración irrelevante que lo inclina hacia una opción equivocada sin perder también evidencia útil? La oración que más afecta a una respuesta podría contener un dato clínico clave, así que su influencia por sí sola no indica si debe bloquearse.
Excise localiza la oración que más altera una respuesta médica y solo la bloquea si su representación interna choca con el resto del caso.
¿Puede un modelo bloquear una oración irrelevante que desvía su respuesta sin suprimir también evidencia útil? Los autores evaluaron el bloqueo de oraciones en un diagnóstico con cuatro modelos: las máscaras de atención fijas perjudicaron la precisión cuando la oración añadida apuntaba a la opción correcta, mientras que bloquear esa oración conocida mantuvo una precisión similar entre condiciones.
Excise mide el efecto de cada oración en la respuesta y solo bloquea la más influyente si el modelo la considera inconsistente con el caso. En MedQA con Targeted Distractors —una prueba que añade oraciones que conservan la respuesta correcta, pero favorecen opciones incorrectas—, tres modelos ganaron entre 16.7 y 22.8 puntos de precisión frente a no intervenir; la precisión en preguntas limpias cayó entre 1.5 y 2.1 puntos.
La evidencia procede de pruebas sintéticas de preguntas médicas de opción múltiple con distractores que no cambian la respuesta correcta, y usa modelos cuyas señales internas se pueden inspeccionar. Excise no corrige afirmaciones médicas falsas ni demuestra que esté listo para el uso clínico. Además, requiere al menos tres oraciones narrativas y añade un costo considerable de inferencia.
Qué muestran las pruebas
- Una distracción dirigida
Excise es un método aplicado durante la inferencia para responder preguntas médicas. Aborda un problema concreto: una oración puede ser irrelevante para la respuesta correcta y, aun así, empujar al modelo hacia una opción equivocada específica.
Los autores crearon MedQA con Targeted Distractors, una prueba que añade oraciones que conservan la respuesta correcta, pero están diseñadas para favorecer opciones incorrectas. En esas preguntas, nueve modelos de pesos abiertos perdieron entre 19 y 32 puntos porcentuales de precisión frente a las preguntas limpias correspondientes.
- Por qué hay que localizar la oración
Los autores comprobaron si una intervención general podía suprimir la distracción sin localizar su origen. En un diagnóstico con cuatro modelos, las máscaras fijas para cabezas de atención elevaron la precisión cuando una oración añadida favorecía una opción incorrecta, pero la redujeron drásticamente cuando apuntaba a la respuesta correcta.
En cambio, bloquear la oración añadida conocida produjo precisiones similares en ambas condiciones. Esta diferencia muestra por qué una intervención debe distinguir, en cada pregunta, el contenido distractor de la evidencia útil.
- Una señal de mal encaje
Los autores encontraron una señal que podría ayudar a establecer esa diferencia. Compararon la representación interna del modelo de cada oración leída por separado con la del resto del caso, también leído por separado.
En preguntas limpias, rara vez la oración que más afectaba a la respuesta era la que menos encajaba con el caso. Cuando un distractor había cambiado una respuesta correcta por una incorrecta, era la oración más discordante en el 78–93% de los casos en tres pruebas.
- Una intervención selectiva
Excise usa dos comprobaciones: mide cuánto debilita el bloqueo de cada oración la respuesta actual y luego evalúa si la oración más influyente parece inconsistente con el resto del caso. En tres modelos, elevó la precisión entre 16.7 y 22.8 puntos en MedQA con Targeted Distractors frente a no intervenir, mientras que redujo entre 1.5 y 2.1 puntos la precisión en preguntas limpias.
El resultado respalda una ayuda selectiva en estas pruebas, con un costo que persiste en las preguntas limpias.
- Qué abarca la evidencia
Al añadir una oración ajena al caso, Excise obtuvo entre 7.2 y 10.0 puntos más de precisión que una variante que elegía oraciones solo por su mal encaje. También mejoró la precisión en MedDistractQA y BiasMedQA, otras dos pruebas de preguntas médicas.
Estos resultados amplían los escenarios evaluados, pero los distractores eran sintéticos y el método requiere acceso a las señales internas del modelo. Los autores señalan que no está validado para uso clínico.
Detalles
- Autores del paper original
- Yerim Hong, Sohyun Son, Heeseung Chung, Mujeen Sung
- Enviado a arXiv
- Licencia
- arXiv non-exclusive