ES
Los modelos detectan cambios en las guías, pero no siempre actualizan todo el consejo
Large language models show systematic failures in incorporating evolving medical knowledge · arXiv:2610.30631
En palabras sencillas
Las guías médicas cambian, y un modelo puede notar que una recomendación cambió sin incluir en su respuesta todas las consecuencias importantes. ChronoEvo es una prueba basada en 1,709 cambios verificados en recomendaciones de guías.
Presenta a los modelos recomendaciones anteriores y, en la prueba principal, pruebas de guías actualizadas; luego evalúa qué reflejan sus respuestas. En el caso de Qwen3-4B, un evaluador de GPT-5 juzgó que el 90.8% de las respuestas reconocía el cambio, pero que solo el 58.5% incluía todas sus consecuencias importantes.
La prueba muestra una diferencia entre esos resultados observables; no explica el razonamiento interno del modelo.
La investigación
Cuando cambian las recomendaciones médicas, ¿basta con que un modelo reconozca la revisión o también debe trasladar cada consecuencia clínicamente importante a su recomendación?
ChronoEvo mide estos aspectos de las respuestas por separado y aborda una diferencia que una evaluación general de la corrección médica podría pasar por alto.
ChronoEvo evalúa si los modelos trasladan pruebas actualizadas de guías a sus recomendaciones y distingue entre reconocer un cambio e incorporarlo por completo.
En la prueba con todas las pruebas, Qwen3-4B recibió recomendaciones anteriores y pruebas de guías actualizadas. Un evaluador semántico de GPT-5 juzgó si las respuestas reconocían el cambio, eran clínicamente correctas e incluían todas sus consecuencias clínicamente importantes.
Las tasas fueron del 90.8% para el reconocimiento, del 80.2% para la corrección clínica y del 58.5% para la incorporación completa.
Como en esas mismas respuestas el reconocimiento y la corrección clínica se juzgaron más a menudo que la incorporación completa, los resultados muestran que notar una revisión no garantiza que sus consecuencias lleguen a la recomendación. La diferencia también apareció en los 14 modelos evaluados en el estudio.
Estos resultados se refieren a respuestas de modelos ante revisiones de guías cuando se proporcionan las pruebas actualizadas.
El estudio no evalúa si los modelos pueden encontrar la guía correcta, elegir la versión adecuada para un paciente o momento determinados, ni mantener sus conocimientos actualizados durante un uso prolongado en condiciones reales.
Qué muestran las pruebas
- La pregunta es si se actualiza todo
ChronoEvo es un conjunto de pruebas con 1,709 revisiones verificadas de recomendaciones de guías de práctica clínica.
Evalúa si un modelo que recibe pruebas actualizadas traslada el cambio a su respuesta, en vez de limitarse a reflejar que hubo un cambio. Una recomendación puede conservar consejos sustituidos u omitir una condición modificada aunque su sentido general refleje la revisión.
- Se varió el acceso a las pruebas
En la tarea principal, Qwen3-4B recibió una recomendación anterior y pruebas de la guía actualizada, y luego generó una recomendación nueva. Los autores también probaron condiciones sin las pruebas actualizadas o sin pruebas de ninguna guía. La recomendación actualizada se reservó como referencia para la evaluación; el modelo generador no recibió ni esa recomendación ni la etiqueta del tipo de revisión.
- Reconocer el cambio no aseguró que se incluyera todo
Un evaluador semántico de GPT-5 juzgó las respuestas de la condición con todas las pruebas según tres aspectos: reconocimiento de la revisión, corrección clínica e incorporación completa. El reconocimiento indica si una respuesta refleja el sentido o la dirección del cambio; la incorporación completa, si incluye todas sus consecuencias clínicamente importantes.
El evaluador juzgó que el 90.8% de las respuestas reconocía el cambio y que el 80.2% era clínicamente correcto, pero solo el 58.5% lo incorporaba por completo.
- Las sustituciones mostraron una diferencia
Las revisiones de sustitución muestran un ejemplo claro: se juzgó que el 94.5% de las respuestas reconocía el cambio, mientras que el 41.1% lo incorporaba por completo.
La asociación general entre el tipo de revisión y la incorporación no fue estadísticamente significativa. Una comparación exploratoria corregida halló una tasa menor de incorporación completa en las sustituciones que en las eliminaciones; esta diferencia entre categorías no debe tomarse como un patrón general para todos los tipos de revisión.
- Las comprobaciones respaldan una conclusión acotada
Una instrucción que daba prioridad explícita a las pruebas actualizadas redujo la conservación de contenido desactualizado, pero el cambio en la incorporación completa no fue estadísticamente detectable.
Dos médicos que evaluaron otra muestra, enriquecida con ciertos tipos de revisión, también encontraron una diferencia entre reconocimiento e incorporación. En conjunto, estos resultados respaldan que son aspectos distintos de las respuestas evaluadas; no explican por qué ocurre dentro de los modelos ni establecen cómo manejan la búsqueda de guías y las actualizaciones prolongadas.
Detalles
- Autores del paper original
- Min Zeng, Zaifu Zhan, Kai Yu, Rui Zhang
- Enviado a arXiv
- Licencia
- CC BY 4.0