En palabras sencillas
Algunas preguntas clínicas piden un dato conocido; otras requieren leer un informe, combinar detalles o encontrar algo en una imagen. Este artículo evalúa cuatro modelos System 1, que responden preguntas con opciones fijas asignando una probabilidad a cada opción en una sola pasada.
En las tareas públicas, el mejor de los cuatro modelos en cada tarea obtuvo las puntuaciones más altas en conocimientos médicos y comprensión de textos, y las más bajas en hallazgos de volúmenes de CT o MRI. Estos promedios describen grupos de tareas, no todos los modelos ni todos los casos.
La investigación
¿Pueden los modelos que asignan probabilidades a opciones fijas en preguntas clínicas resolver igual de bien distintos tipos de decisiones? Una respuesta puede requerir recordar conocimientos médicos, extraer información de un texto, combinar hallazgos o identificar algo en una imagen. Una única puntuación general podría ocultar diferencias importantes entre esas tareas.
Los autores agruparon tareas clínicas públicas según la capacidad requerida y compararon cuatro modelos de una sola pasada que asignan probabilidades a opciones de respuesta.
¿Pueden los modelos que responden preguntas clínicas de opciones fijas resolver igual de bien tareas de recuerdo, extracción de texto, juicio clínico y hallazgos de imagen?
Los autores evaluaron cuatro modelos de este tipo en tareas públicas y las agruparon según la capacidad requerida, para comparar distintos tipos de decisiones.
Calcularon AUROC, una medida de lo bien que las puntuaciones distinguen las respuestas positivas de referencia de las negativas, y promediaron los resultados de las tareas dentro de cada nivel. El mejor modelo en cada tarea promedió 0,94 en conocimientos médicos y 0,93 en comprensión de textos, pero 0,69 en hallazgos volumétricos.
Las tareas de imagen también promediaron menos que las de texto, aunque esos grupos incluyen tareas y poblaciones diferentes.
La evaluación usó modelos sin ejemplos previos y con una descripción de una sola frase; no probó instrucciones específicas para cada tarea ni entrenamiento adicional, y es posible que los conjuntos de datos públicos ya aparecieran en los datos de entrenamiento.
Los volúmenes de CT y MRI se representaron mediante cortes separados entre 3 y 10 mm, por lo que podrían haberse pasado por alto hallazgos pequeños entre cortes.
Análisis
Detalles
- Autores del paper original
- Xiufeng Yang, Konstantinos Vrettos, Zeineb Ben Chaaben, Fabian Drexel, Jannik Lübberstedt
- Enviado a arXiv
- Licencia
- CC BY 4.0