OpenTWBench valuta le conoscenze su Taiwan e mostra l’effetto dei criteri di punteggio

Come può un punteggio di valutazione riflettere le conoscenze dei modelli sugli esami locali e sulla vita quotidiana di Taiwan, se molti test sono tradotti dall’inglese o pensati per il cinese semplificato e i test creati per Taiwan sono pochi e si stanno saturando?

Il paper esamina anche quanto del punteggio riportato dipenda dal modo in cui vengono valutate le risposte.

OpenTWBench combina test sugli esami nazionali e sulle conoscenze quotidiane di Taiwan, e misura quanto le regole di lettura delle risposte possano cambiare i punteggi riportati.

OpenTWBench affianca domande degli esami nazionali a domande verificate sulla vita quotidiana e sulla Taiwan contemporanea. Per queste ultime, un modello prepara le domande a partire da un corpus della comunità e un valutatore controlla ogni risposta prevista confrontandola con il testo di riferimento.

In una valutazione di educazione civica, lo stesso modello e le stesse domande hanno ottenuto il 20,8% quando il software cercava una lettera nelle risposte in testo libero, contro il 93,9% quando il modello era invitato a indicare una risposta chiaramente contrassegnata e il punteggio veniva assegnato in base a quella scelta.

La differenza mostra che l’accuratezza riportata può dipendere anche da come si leggono le risposte, oltre che da ciò che il modello sa.

La verifica del trasferimento ha usato un solo modello esterno al gruppo di selezione e una fascia di difficoltà calibrata su sette modelli congelati ad agosto 2026. Gli autori riferiscono che modelli frontier successivi hanno superato il limite superiore della fascia.