I modelli riconoscono le linee guida aggiornate senza integrare tutte le modifiche

Quando cambiano le indicazioni mediche, basta che un modello riconosca la revisione o deve anche riportare nella raccomandazione tutte le conseguenze importanti dal punto di vista clinico?

ChronoEvo misura questi esiti separatamente e affronta una lacuna che un giudizio generale sulla correttezza medica potrebbe non rilevare.

ChronoEvo verifica se i modelli trasferiscono le prove aggiornate delle linee guida nelle raccomandazioni, distinguendo il riconoscimento di una modifica dalla sua integrazione completa.

Nel test con tutte le prove, Qwen3-4B ha ricevuto raccomandazioni precedenti e prove tratte dalle linee guida aggiornate. Un valutatore semantico GPT-5 ha giudicato se le risposte riconoscessero la modifica, fossero clinicamente corrette e includessero tutte le conseguenze importanti dal punto di vista clinico.

Il riconoscimento è stato del 90,8%, la correttezza clinica dell'80,2% e l'integrazione completa del 58,5%.

Poiché, nelle stesse risposte, il riconoscimento e la correttezza sono stati giudicati presenti più spesso dell'integrazione completa, i risultati mostrano che accorgersi di una revisione non garantisce che le sue conseguenze arrivino nella raccomandazione. La distanza è emersa anche tra i 14 modelli valutati nello studio.

Questi risultati riguardano le risposte dei modelli alle revisioni delle linee guida quando vengono fornite le prove aggiornate.

Lo studio non verifica se i modelli sappiano recuperare la linea guida corretta, scegliere la versione adatta a un paziente o a un momento specifico, né mantenere aggiornate le proprie conoscenze durante un uso prolungato nel mondo reale.