Les modèles repèrent les directives modifiées sans toujours actualiser leurs conseils

Quand les recommandations médicales changent, suffit-il qu’un modèle reconnaisse la révision, ou doit-il aussi en reprendre toutes les conséquences cliniquement importantes dans sa recommandation ?

ChronoEvo évalue séparément ces deux résultats dans les réponses, mettant en lumière un écart qu’une évaluation générale de la justesse médicale pourrait ne pas révéler.

ChronoEvo évalue si les modèles intègrent les éléments probants des directives mises à jour dans leurs recommandations, en distinguant la reconnaissance d’un changement de son intégration complète.

Dans le test avec tous les éléments probants, Qwen3-4B recevait d’anciennes recommandations et les éléments probants des directives mises à jour. Un évaluateur sémantique GPT-5 a déterminé si les réponses reconnaissaient le changement, étaient cliniquement justes et reprenaient toutes ses conséquences cliniquement importantes.

Les taux étaient de 90,8 % pour la reconnaissance, de 80,2 % pour la justesse clinique et de 58,5 % pour l’intégration complète.

Comme la reconnaissance et la justesse étaient jugées plus fréquentes que l’intégration complète dans ces mêmes réponses, les résultats montrent que repérer une révision ne garantit pas que ses conséquences figurent dans la recommandation. L’écart a également été observé parmi les 14 modèles évalués dans l’étude.

Ces résultats portent sur les réponses des modèles à des révisions de directives lorsque les éléments probants mis à jour leur sont fournis.

L’étude ne vérifie pas si les modèles savent retrouver la bonne directive, choisir la version adaptée à un patient ou à une date, ni maintenir leurs connaissances à jour lors d’une utilisation prolongée en conditions réelles.