ES
Los modelos de decisión detectan algunas alucinaciones, pero la confianza puede engañar
Decision Models as Judges for Hallucination Detection · arXiv:2610.37229
En palabras sencillas
Este artículo evalúa modelos de decisión: jueces que eligen entre etiquetas predefinidas, como «error objetivo presente» o «error objetivo ausente», para detectar cinco tipos de alucinación. Compara cinco de estos modelos con un juez generativo y contrasta sus veredictos con anotaciones ya existentes en conjuntos de datos.
El mejor modelo cambia según el error: los modelos de decisión casi igualan al juez generativo ante conflictos con el contexto y lo superan ligeramente ante hechos inventados, pero quedan por debajo ante contradicciones de razonamiento y fallos al seguir instrucciones. La confianza solo indica de forma moderada si un veredicto es correcto.
La investigación
Cuando un programa evalúa respuestas de modelos, ¿puede detectar alucinaciones sin depender de otro juez generativo, y puede su confianza indicar cuándo se equivoca?
Un juez que emite veredictos sin respaldo o mantiene la seguridad mientras comete errores debilita la propia comprobación que debe realizar.
El estudio compara cinco modelos que eligen veredictos predefinidos con un juez generativo y luego prueba si derivar los casos inciertos entre ellos mejora la detección.
Cinco modelos de decisión y un juez generativo recibieron las mismas respuestas y el mismo criterio de error objetivo; los investigadores compararon sus veredictos de presencia o ausencia con las anotaciones de los conjuntos de datos. Balanced accuracy significa la sensibilidad promedio para respuestas con y sin el error objetivo.
El modelo de decisión más fuerte varió según el tipo de error: casi igualó al juez generativo ante conflictos con el contexto proporcionado y lo superó ligeramente ante hechos inventados, pero quedó por debajo ante contradicciones dentro de una respuesta y fallos al seguir instrucciones. Esto respalda que el rendimiento depende del tipo de error, no que exista un ganador universal.
Estas comparaciones agrupadas no permiten separar el tipo de error de la fuente de datos: los casos de inconsistencia de contexto y de instrucciones proceden cada uno de una sola fuente.
La reproducción de las cascadas usa cross-fitting para elegir las tasas, pero los modelos participantes y su orden se seleccionaron con la muestra completa, y no se hizo ninguna prueba en vivo ni en dominios no vistos.
Qué muestran las pruebas
- Definir el error objetivo
El estudio empírico evalúa cinco modelos de decisión como jueces que detectan alucinaciones en respuestas de modelos, y los compara con el juez generativo gpt-6-sol.
Los investigadores convierten anotaciones existentes en cinco tareas separadas de presencia o ausencia, una por cada tipo de error objetivo. Una etiqueta «ausente» solo indica que falta el error especificado; la respuesta aún puede contener otro tipo de alucinación.
- Comparar los veredictos
Cada juez recibe la misma respuesta y el mismo criterio de la tarea, además de la instrucción original cuando está disponible y el contexto de la fuente en los casos sobre conflictos de contexto. Los investigadores comparan las decisiones con las etiquetas de los conjuntos de datos.
Balanced accuracy es la sensibilidad promedio para respuestas con y sin el error objetivo, así que no se limita a contar todas las respuestas correctas. El mejor modelo de decisión depende del tipo: casi empata con el juez generativo ante conflictos de contexto y lo supera ligeramente ante hechos inventados, pero queda por debajo ante contradicciones dentro de una respuesta y fallos al seguir instrucciones.
- Evaluar la confianza aparte
La confianza de los modelos es una cuestión distinta de si sus etiquetas son correctas. Los investigadores encontraron pendientes de calibración inferiores a 1 en 21 de 25 pares de modelo de decisión y tipo de error, señal de exceso de confianza.
Una medida de ordenamiento comprueba si un veredicto correcto tiene más confianza que uno erróneo; los empates cuentan como la mitad y 0.5 equivale al azar. Promediada entre los cinco tipos, va de 0.67 a 0.73 para los seis jueces.
Persistieron errores con alta confianza: al menos 0.9 de confianza en el 10–30% de los errores de cuatro modelos de decisión, en el 47% de los de gpt-6-luna, un modelo de decisión, y en el 69% de los de gpt-6-sol, el juez generativo.
- Derivar casos inciertos
El artículo también prueba una confidence cascade: el más fuerte de tres modelos de decisión evalúa primero y envía sus casos con menor confianza al siguiente; el tercero recibe los casos que se derivan después. En una reproducción con cross-fitting, las cascadas mejoran respecto al primer modelo en errores fácticos y de contexto, pero los intervalos de las diferencias medidas respecto a gpt-6-sol incluyen cero en esos tres tipos.
- Delimitar el resultado de la cascada
El beneficio no aparece en todos los casos. Ante contradicciones dentro de una respuesta, la cascada no deriva ningún caso e iguala a su primer modelo, que queda 3.85 puntos porcentuales por debajo de gpt-6-sol.
Ante fallos de instrucciones, mejora en 0.36 puntos respecto a su primer modelo, con un intervalo que incluye cero, y queda 7.43 puntos por debajo. El cross-fitting reduce el máximo seleccionado en hasta 0.52 puntos, pero solo comprueba la selección de tasas, ya que la pertenencia y el orden de los modelos se determinaron usando las puntuaciones de la muestra completa.
Detalles
- Autores del paper original
- Haozheng Liu, Zhaoqian Xue, Zhongyin Wang, Junting Mu, Zihui Ma
- Enviado a arXiv
- Licencia
- CC BY 4.0