Algunos modelos detectan fuentes fiables, pero no usan esa señal

Cuando la evidencia entra en conflicto, un cambio en la respuesta es ambiguo: ¿el modelo detectó un historial relevante de la fuente?, ¿dejó que ese historial guiara su juicio?, ¿o siguió otra señal, como el orden de los informes?

Una sola medición del cambio en la respuesta no permite distinguir esas posibilidades, lo que dificulta saber si la aparente actualización del modelo refleja la evidencia que los investigadores querían evaluar.

Los autores distinguen entre reconocer la fiabilidad de una fuente y dejar que influya en un juicio; después muestran que las instrucciones pueden modificar esa influencia en algunos modelos.

Los autores crearon una evaluación con 500 mundos, escenarios ficticios emparejados, preguntas separadas de identificación y elecciones finales sobre qué afirmación apoyar.

En cada par, cambia una señal objetivo —como el historial de una fuente— mientras se mantienen fijas características especificadas del escenario. En las elecciones sin resolver no hay un único estado correcto, así que la influencia se mide como el cambio, en puntos porcentuales, en la proporción que elige el estado B.

El resultado distingue el reconocimiento del uso: Qwen3.8-27B reconoció la fuente más sólida en el 99.5% de los casos con historiales desiguales, pero el efecto del historial fue de 0.0 puntos; GPT-6 Sol alcanzó el 100.0% en ambas mediciones. En Qwen3.5-27B, incluso al identificar correctamente las señales, el efecto fue de 0.68 puntos, frente a 0.67 en el conjunto general, lo que indica que la escasa influencia no se debió simplemente a no reconocer la señal.

Estos hallazgos proceden de escenarios de texto en inglés construidos por investigadores, y la intervención solo evalúa tres versiones de Qwen. La sensibilidad a las señales que se mide aquí es conductual y no demuestra exactitud factual, mejores decisiones en el mundo real ni juicios fiables.