Puntuar las opciones por separado mantiene estables las elecciones ante cambios de orden

Cuando otra parte de un sistema crea o reordena una lista de opciones, ¿puede un modelo de lenguaje evitar cambiar su respuesta solo por el orden? ¿Y añadir una opción irrelevante puede dejar intactas las probabilidades relativas de las opciones originales?

El artículo demuestra qué forma de puntuación cumple ambas reglas de coherencia y presenta Prism-1, que puntúa cada opción de manera independiente y convierte esas puntuaciones en probabilidades de elección.

Con los mismos datos y presupuesto de entrenamiento, los autores compararon Prism-1 con instrucciones de elección única; los métodos usaron distintas formas de obtener decisiones y objetivos de entrenamiento.

En los promedios de cinco conjuntos de tareas, la precisión convencional fue similar, sin una diferencia agrupada significativa.

La precisión robusta al orden, que solo cuenta las respuestas correctas tanto en la lista original como en una reordenada, favoreció a Prism-1 en ambos modelos. Sus respuestas nunca cambiaron al reordenar la lista, lo que respalda que la puntuación independiente mantiene la coherencia ante cambios de orden sin una penalización amplia en precisión.

La evidencia empírica abarca dos modelos abiertos, conjuntos de hasta 20 opciones y entre una y tres ejecuciones de entrenamiento por configuración. La garantía de la construcción es exacta salvo por el redondeo numérico, que puede inclinar decisiones casi empatadas.