Elegir evidencia de evaluación según el resultado y su coste
Un panel de evaluadores puede puntuar de forma más coherente después de aclarar sus instrucciones y, aun así, no mostrar una mejora detectable frente a las valoraciones de expertos. Una respuesta también puede parecer pertinente sin contestar la solicitud.
Estos casos muestran que «evaluar mejor» es un objetivo incompleto mientras no se especifique qué resultado se busca.
Los estudios respaldan elegir la evidencia según la afirmación que se quiere comprobar: aclarar los criterios para estudiar el consenso, examinar el contenido de una respuesta para valorar si corresponde a la solicitud y observar una aplicación en uso cuando importa su comportamiento.
Cada opción tiene un alcance probado y un coste; un planificador del presupuesto depende de cuánto represente su prueba piloto el uso real.
Qué comprenderás
¿En qué se diferencia el acuerdo entre evaluadores del acuerdo con las valoraciones humanas?
¿Qué mide reconstruir una solicitud a partir de una respuesta y dónde puede fallar ese indicador indirecto?
¿Cómo influyen el comportamiento observado de una aplicación y un presupuesto fijo de cómputo en la elección del método de evaluación?
Coincidir no significa igualar a los expertos
Imagina que varios modelos de lenguaje califican resúmenes de noticias. Todos reciben la misma rúbrica, es decir, las mismas instrucciones de puntuación, pero pueden interpretar una cláusula de manera distinta y asignar puntuaciones diferentes.
Si un editor consigue que sus puntuaciones se parezcan más, el panel resulta más fácil de usar. Pero quien se interesa por la calidad de los resúmenes necesita otra respuesta: ¿se parecen esas puntuaciones a las de los expertos?
El estudio sobre rúbricas trata el acuerdo dentro del panel y el acuerdo con los expertos como resultados distintos.
En SummEval, una prueba comparativa de resúmenes de noticias, el estudio comparó los mismos elementos de evaluación con las instrucciones originales y con una versión editada. El acuerdo entre cinco evaluadores se midió con el alfa de Krippendorff, una estadística que mide cuánto coinciden más allá de lo que cabría esperar por azar.
Al promediar por igual las diferencias de alfa entre ambas versiones en cuatro dimensiones de puntuación, la versión editada obtuvo 0.069 unidades alfa más que la original; el intervalo de confianza del 95% informado iba de 0.046 a 0.092.
Esta comparación mide cuán coherentes fueron las puntuaciones de esos evaluadores, no si eran correctas.
El estudio también comparó las puntuaciones del panel con las valoraciones expertas ya existentes en SummEval y no detectó cambios tras las ediciones. Esto no demuestra que el acuerdo con los expertos se mantuviera exactamente igual: significa que el estudio no detectó una mejora en ese resultado.
Así se precisa la pregunta práctica. Si la coherencia, el acuerdo con las personas y la corrección son objetivos distintos, ¿qué evidencia debería recibir un evaluador y cuánto esfuerzo conviene dedicar a reunirla?
Cómo continúa la lección
Cambia el juicio y luego comprueba su objetivo
Añadir evidencia del uso de la aplicación
Sopesar el coste de reunir evidencia
Ajustar la decisión al contexto medido