Los desacuerdos entre jueces aclaran rúbricas, pero no mejoran la coincidencia humana
En palabras sencillas
Cuando varios modelos de lenguaje usan la misma guía de puntuación, pueden discrepar porque interpretan algunas reglas de manera distinta. Este artículo presenta una forma de encontrar esas reglas discutidas sin usar calificaciones humanas para elegirlas: un modelo editor aclara las cláusulas en las que los jueces discreparon.
En una prueba de puntuación de resúmenes de noticias, los cinco jueces fueron más consistentes después de aclarar las cláusulas seleccionadas. Sus puntuaciones no se acercaron de forma detectable a las de los expertos, y el mismo aumento de consistencia no apareció en los otros dos conjuntos de datos probados.
La investigación
Cuando los jueces discrepan sobre una rúbrica de evaluación, ¿debería un editor aclarar las cláusulas discutidas? Aunque eso haga que coincidan más, ¿sus puntuaciones se acercarán entonces a los juicios humanos?
El artículo evalúa ambos resultados por separado, porque el consenso entre jueces no revela por sí solo qué interpretación pretendían las personas.
El método usa los desacuerdos entre jueces para seleccionar cláusulas de una rúbrica que aclarar y luego evalúa por separado la consistencia entre jueces y el acuerdo con las calificaciones humanas.
Los autores aclararon las cláusulas sobre las que los jueces habían discrepado y luego compararon las puntuaciones de elementos de evaluación distintos con las obtenidas usando la rúbrica original. En SummEval, cinco jueces fueron más consistentes con las ediciones.
Un control emparejado encontró un aumento similar solo cuando se seleccionaron las cláusulas controvertidas, y no cuando se editó el mismo número de cláusulas no seleccionadas con el mismo procedimiento.
Sin embargo, las puntuaciones promedio de los jueces no siguieron de forma detectable más de cerca las puntuaciones expertas. Por tanto, en esta prueba el método mejoró el consenso sin mostrar que ese consenso reflejara mejor los juicios humanos.
La evidencia abarca tres conjuntos de datos en inglés con etiquetas humanas existentes y una sola edición de cada cláusula seleccionada. Los autores no transfirieron criterios a código, así que esa etapa no se puso a prueba.
Análisis
Detalles
- Autores
- Sangdo Han, Moonsoo Kim
- Licencia
- arXiv non-exclusive