Les scores des modèles cliniques varient selon le type de décision
En termes simples
Certaines questions cliniques demandent un fait connu ; d’autres exigent de lire un compte rendu, de combiner des détails ou de repérer quelque chose dans une image. Cet article évalue quatre modèles System 1, qui répondent à des questions à choix fixe en attribuant une probabilité à chaque option en un seul passage.
Sur les tâches publiques, le meilleur des quatre modèles pour chaque tâche a obtenu ses scores les plus élevés en connaissances médicales et en compréhension de texte, et les plus faibles pour les observations dans des volumes de CT ou d’IRM. Ces moyennes décrivent des groupes de tâches, pas chaque modèle ni chaque cas.
La recherche
Des modèles qui attribuent des probabilités aux options de questions cliniques à choix fixe peuvent-ils traiter aussi bien différents types de décisions ? Une réponse peut venir de connaissances médicales mémorisées, d’informations extraites d’un texte, de la combinaison d’observations ou de l’identification d’un élément dans une image. Un score global unique pourrait masquer des différences importantes entre ces tâches.
Les auteurs ont réparti des tâches cliniques publiques selon la capacité requise et comparé quatre modèles à un seul passage qui attribuent des probabilités aux options de réponse.
Des modèles répondant à des questions cliniques à choix fixe traitent-ils aussi bien le rappel de connaissances, l’extraction d’informations textuelles, le jugement clinique et l’identification d’observations dans des images ?
Les auteurs ont évalué quatre modèles sur des tâches publiques et les ont regroupées selon la capacité requise, afin de comparer différents types de décisions.
Ils ont calculé l’AUROC, une mesure indiquant dans quelle mesure les scores distinguent les réponses portant l’étiquette de référence positive de celles portant l’étiquette négative, puis ont moyenné les résultats des tâches de chaque niveau.
Le meilleur modèle pour chaque tâche a obtenu une moyenne de 0,94 en connaissances médicales et de 0,93 en compréhension de texte, mais de 0,69 pour les observations dans des volumes. Les tâches d’imagerie avaient aussi une moyenne inférieure à celle des tâches portant sur des textes, même si ces groupes comprennent des tâches et des populations différentes.
L’évaluation a utilisé des modèles sans exemple préalable, accompagnés d’une seule phrase de description ; elle n’a testé ni consignes adaptées à chaque tâche ni entraînement supplémentaire. Des jeux de données publics ont pu figurer dans les données d’entraînement.
Les volumes de CT et d’IRM étaient représentés par des coupes espacées de 3 à 10 mm, si bien que de petites anomalies situées entre deux coupes ont pu passer inaperçues.
Analyse
Détails
- Auteurs de l’article original
- Xiufeng Yang, Konstantinos Vrettos, Zeineb Ben Chaaben, Fabian Drexel, Jannik Lübberstedt
- Soumis à arXiv
- Licence
- CC BY 4.0