ES
Dia consulta a otros modelos solo cuando discrepan las respuestas del razonamiento
Not All Test-Time Compute Is Evidence: Model-Specific Bias in LLM Reasoning · arXiv:2610.23213
En palabras sencillas
Los modelos de lenguaje pueden repetir una misma respuesta incorrecta, conservar un error inicial después de razonar más o confiar en una respuesta posterior solo porque llegó después. Este artículo presenta Dia, un método que comprueba si la respuesta de un modelo a mitad del razonamiento coincide con su respuesta final.
Si no coinciden, otros tres modelos resuelven la pregunta original sin ver ninguna de las dos respuestas. En siete pruebas de razonamiento y con dos modelos base, Dia fue más exacto que dejar que el modelo base terminara su razonamiento en 12 de 14 configuraciones. El resultado se aplica a las configuraciones probadas, no a todos los modelos o tareas.
La investigación
Cuando un modelo de lenguaje se equivoca, ¿pedirle que razone más o genere más respuestas aporta evidencia realmente nueva?
El artículo examina si sus errores persisten entre respuestas repetidas, durante el razonamiento continuado y en la autoevaluación, y si una discrepancia durante el razonamiento puede indicar cuándo resulta útil otra fuente de evidencia.
Dia usa las respuestas intermedia y final de un modelo para decidir cuándo pedir a tres modelos independientes que resuelvan la pregunta y arbitren.
Los autores evalúan si la discrepancia entre las respuestas intermedia y final de un modelo puede identificar casos en que otra fuente de evidencia podría ayudar. El muestreo repetido, el razonamiento adicional y la autoevaluación pueden conservar o favorecer errores propios del modelo.
Dia envía solo las discrepancias a tres modelos independientes, que resuelven la pregunta original sin ver las respuestas candidatas. En siete familias de pruebas y con dos modelos base, alcanza mayor exactitud que el chain-of-thought completo en 12 de 14 configuraciones.
Este patrón respalda el arbitraje selectivo en estas pruebas; en las excepciones de MATH había poco margen para mejorar frente al método de referencia, que ya era sólido.
La comparación principal abarca subconjuntos fijos de siete familias de pruebas y dos modelos base. En las dos configuraciones de MATH, el chain-of-thought completo dejaba poco margen de mejora; los resultados no establecen cómo se desempeña Dia con otros modelos o tareas.
Qué muestran las pruebas
- Cuando las respuestas discrepan
Dia (Disagreement-triggered Independent Arbitration) es un método para el razonamiento de modelos de lenguaje durante la inferencia. El artículo pregunta si el cómputo adicional de un modelo aporta evidencia nueva cuando sus errores pueden persistir: las muestras repetidas pueden compartir una respuesta incorrecta, el razonamiento puede conservar un error inicial y la autoevaluación puede favorecer la respuesta posterior.
Estos patrones hacen que la discrepancia entre una predicción intermedia y una final sea un indicio útil para investigar, aunque por sí sola no permite identificar la respuesta correcta.
- Una segunda opinión selectiva
Cuando las predicciones intermedia y final del modelo base coinciden, Dia devuelve esa respuesta. Si discrepan, tres modelos externos distintos entre sí resuelven la pregunta original de forma independiente, sin ver ninguna de las respuestas candidatas, los rastros de razonamiento ni las salidas de los demás. Dia cuenta el apoyo a las dos candidatas y devuelve una tercera respuesta si al menos dos modelos la proponen.
Así, el método activa la consulta de forma selectiva y obtiene juicios independientes de las respuestas que compara.
- Mejora en la mayoría de las configuraciones
Los autores comparan Dia con el chain-of-thought completo, en el que el modelo base termina su razonamiento y devuelve la respuesta final. En siete familias de pruebas y con dos modelos base, Dia obtiene mayor exactitud en 12 de 14 combinaciones de prueba y modelo.
Aquí, la exactitud es la proporción de respuestas consideradas correctas según la clave de respuestas de la prueba o, en respuestas abiertas, por un evaluador independiente basado en un modelo de lenguaje. Las dos excepciones son configuraciones de MATH en las que el método de referencia ya estaba cerca del máximo de exactitud.
- Modelos distintos aportan evidencia
En las discrepancias activadas de MuSiQue, una prueba de preguntas que requieren varios pasos, el grupo heterogéneo de modelos resolvió correctamente el 54.72% de los casos, frente al 24.53% de tres instancias independientes de Qwen3-8B.
Este control mantiene iguales el modelo base, la regla de arbitraje y los casos activados, y solo cambia el grupo de modelos consultados. El resultado respalda la interpretación de que, en este subconjunto probado, modelos diferentes pueden aportar más evidencia correctiva que repetir muestras del modelo base.
- Revisar los rastros mantiene el sesgo
El artículo también comprueba si los evaluadores pueden elegir entre los rastros candidatos del propio modelo base. Ante discrepancias de MuSR, una prueba de razonamiento narrativo, y MMLU-Pro, una prueba amplia de conocimientos, los evaluadores eligieron la respuesta final en más del 90% de los casos cuando vieron los rastros completos y rara vez recuperaron una respuesta intermedia correcta.
Los resúmenes redujeron esta preferencia, pero no mejoraron de forma consistente la selección correcta. Esto ayuda a explicar por qué Dia pide a modelos externos que resuelvan la pregunta de forma independiente.
Detalles
- Autores del paper original
- Ming Shen, Tianjun Yao
- Enviado a arXiv
- Licencia
- CC BY 4.0