I disaccordi tra valutatori chiariscono le rubriche, ma non l’accordo con gli esperti
In parole semplici
Quando più modelli linguistici usano la stessa guida di valutazione, possono essere in disaccordo perché interpretano alcune regole in modo diverso. Questo paper presenta un metodo per individuare le regole contestate senza usare i punteggi umani per sceglierle: un modello editor chiarisce le clausole su cui i valutatori non concordano.
In una prova sui punteggi dei riassunti di notizie, dopo il chiarimento delle clausole selezionate i cinque valutatori sono diventati più coerenti tra loro. I loro punteggi non si sono avvicinati in modo rilevabile a quelli degli esperti, e lo stesso aumento di coerenza non è emerso negli altri due dataset testati.
La ricerca
Quando i valutatori non sono d’accordo su una rubrica, un modello editor dovrebbe chiarire le clausole contestate? E se questo aumentasse l’accordo tra i valutatori, i loro punteggi corrisponderebbero meglio ai giudizi umani?
Il paper misura separatamente questi due esiti, perché il consenso tra valutatori non rivela da solo quale interpretazione le persone intendessero.
Il metodo usa i disaccordi tra valutatori per selezionare le clausole della rubrica da chiarire, poi misura separatamente la coerenza tra valutatori e la corrispondenza con i punteggi umani.
Gli autori hanno chiarito le clausole su cui i valutatori erano in disaccordo, poi hanno confrontato i punteggi su elementi di valutazione separati con quelli ottenuti usando la rubrica originale. Su SummEval, i cinque valutatori sono stati più coerenti dopo le modifiche.
Un controllo appaiato ha rilevato un aumento simile solo quando sono state selezionate le clausole contestate, non quando la stessa procedura ha modificato lo stesso numero di clausole non selezionate.
Tuttavia, la media dei punteggi dei valutatori non ha seguito in modo rilevabile più da vicino quella degli esperti. In questa prova, il metodo ha quindi aumentato il consenso senza mostrare che tale consenso riflettesse meglio i giudizi umani.
Le prove riguardano tre dataset in inglese con etichette umane già esistenti e una sola modifica per ciascuna clausola selezionata. Gli autori non hanno trasferito criteri al codice, quindi questa fase non è stata valutata.
Analisi
Dettagli
- Autori
- Sangdo Han, Moonsoo Kim
- Licenza
- arXiv non-exclusive