IT
I punteggi dei modelli clinici variano per tipo di decisione
The Value of System 1 Models in Medicine · arXiv:2610.31315
In parole semplici
Alcune domande cliniche richiedono di ricordare un fatto noto; altre chiedono di leggere un referto, combinare diversi dettagli o individuare qualcosa in un’immagine. Questo studio valuta quattro modelli System 1, che rispondono a domande con opzioni fisse assegnando una probabilità a ciascuna opzione in un solo passaggio.
Nei compiti pubblici, il migliore dei quattro modelli per ciascun compito ha ottenuto i risultati più alti per la conoscenza medica e la comprensione del testo, e i più bassi per i reperti nei volumi CT o MRI. Sono medie calcolate su gruppi di compiti, non risultati validi per ogni modello o caso.
La ricerca
I modelli che assegnano probabilità a opzioni fisse nelle domande cliniche gestiscono allo stesso modo diversi tipi di decisione? Una risposta può richiedere di ricordare conoscenze mediche, estrarre informazioni da un testo, combinare reperti o individuare qualcosa in un’immagine. Un unico punteggio complessivo potrebbe nascondere differenze significative tra questi compiti.
Gli autori hanno raggruppato compiti clinici pubblici in base alla capacità richiesta e confrontato quattro modelli a singolo passaggio che assegnano probabilità alle opzioni di risposta.
I modelli che rispondono a domande cliniche con opzioni fisse gestiscono altrettanto bene il richiamo di informazioni, l’estrazione dal testo, il giudizio clinico e l’individuazione di reperti nelle immagini?
Gli autori hanno valutato quattro modelli su compiti pubblici e li hanno raggruppati in base alla capacità richiesta, per confrontare diversi tipi di decisione.
Hanno calcolato l’AUROC, una misura di quanto bene i punteggi distinguono le risposte positive nei dati di riferimento da quelle negative, e hanno mediato i risultati dei compiti all’interno di ciascun livello. Il modello migliore per ciascun compito ha ottenuto in media 0.94 per la conoscenza medica e 0.93 per la comprensione del testo, ma 0.69 per i reperti volumetrici.
Anche i compiti basati su immagini hanno registrato una media inferiore a quelli basati su testo, sebbene i due gruppi comprendano compiti e popolazioni diversi.
La valutazione ha usato modelli zero-shot, cioè senza addestramento aggiuntivo per i compiti, fornendo loro soltanto una descrizione di una frase. Non ha verificato prompt specifici per ciascun compito né ulteriore addestramento; inoltre, i dataset pubblici potrebbero essere comparsi nei dati di addestramento.
I volumi CT e MRI sono stati rappresentati da immagini distanziate di 3 a 10 mm, quindi piccoli reperti tra un’immagine e l’altra potrebbero non essere stati rilevati.
Cosa mostrano le prove
- Decisioni cliniche diverse
The Value of System 1 Models in Medicine è una valutazione trasversale di quattro modelli che rispondono a domande cliniche con opzioni fisse assegnando una probabilità a ciascuna opzione in un solo passaggio. La domanda è se gestiscano con la stessa efficacia diversi tipi di decisione: alcune richiedono di ricordare conoscenze, altre di leggere testi, combinare reperti o interpretare immagini. Gli autori li hanno valutati su 86 compiti pubblici, distribuiti in 14 ambiti clinici e 20 lingue.
- Come leggere i punteggi
Per confrontare i gruppi di compiti, gli autori hanno misurato l’AUROC, che indica quanto bene i punteggi dei modelli ordinano le risposte positive nei dati di riferimento sopra quelle negative. Hanno mediato i punteggi delle domande all’interno di ciascun compito, poi hanno combinato le stime dei compiti per ogni livello di capacità.
Per i risultati principali hanno considerato il migliore dei quattro modelli per ciascun compito. Le medie riportate per livello riassumono quindi gruppi di compiti, non i risultati di ogni modello o caso.
- I risultati variano per capacità
Il modello migliore per ciascun compito ha ottenuto in media 0.94 di AUROC per la conoscenza medica e 0.93 per la comprensione del testo, rispetto a 0.83 per il giudizio clinico basato sul testo e 0.69 per i reperti volumetrici.
Nei gruppi di compiti valutati, quelli basati su immagini hanno registrato in media un’AUROC inferiore di 0.09 punti rispetto a quelli basati su testo. Poiché i gruppi comprendono compiti e popolazioni diversi, il confronto non dimostra che la modalità, da sola, abbia causato la differenza.
- Confronto tra modelli sugli stessi casi
In un confronto separato su 32 compiti di testo e di immagini bidimensionali, gli autori hanno rilevato un’accuratezza bilanciata media inferiore per ciascun modello a singolo passaggio rispetto al suo corrispettivo generativo.
La differenza andava da 3.3 a 4.8 punti percentuali, ma ciascun modello a singolo passaggio ha ottenuto un punteggio superiore in 8 o 9 compiti. Il confronto ha usato gli stessi casi per ciascuna coppia e ha limitato le risposte generative alle stesse opzioni; non descrive compiti o modelli che non sono stati valutati.
Dettagli
- Autori del paper originale
- Xiufeng Yang, Konstantinos Vrettos, Zeineb Ben Chaaben, Fabian Drexel, Jannik Lübberstedt
- Inviato ad arXiv
- Licenza
- CC BY 4.0