Cambiar los ajustes del modelo puede reducir la cobertura de predicción

Si la calibración y el uso real emplean ajustes distintos del modelo, ¿un buen resultado de cobertura en una prueba con ajustes coincidentes sigue indicando con qué frecuencia los conjuntos de predicción incluirán la respuesta correcta durante el uso?

La pregunta importa porque la cuantización o la temperatura pueden cambiar las puntuaciones usadas para construir esos conjuntos, aunque la tarea y el modelo entrenado sigan siendo los mismos.

El artículo formaliza el cambio del modelo en tiempo de inferencia y prueba cómo variar la cuantización o la temperatura entre la calibración y el uso afecta a la cobertura de conformalización.

Los autores probaron si la calibración con ajustes coincidentes describe la cobertura después de cambiar la configuración de uso.

En MMLU-Pro, una prueba de preguntas de opción múltiple, midieron la fracción de ejemplos de evaluación cuya respuesta verdadera aparecía en el conjunto de predicción. Con el uso real fijado en nf4 y temperatura 0.5, la cobertura media entre ocho modelos fue de 0.902 cuando los ajustes coincidían, pero de 0.639 al promediar configuraciones de calibración discrepantes.

Como la tarea y el modelo entrenado permanecieron fijos, la comparación vincula la caída, en esta configuración, con un cambio en el procedimiento que genera las puntuaciones durante la inferencia. Otras comprobaciones, que promediaron entre modos de cuantización o temperaturas de uso real, también mostraron efectos de la discrepancia, aunque su magnitud varió.

Estos resultados respaldan comprobar la sensibilidad a la configuración además de medir la cobertura con ajustes coincidentes.

La auditoría abarca ocho modelos de lenguaje pequeños y cuatro tareas con un conjunto finito de etiquetas, dentro de una cuadrícula finita de modos de cuantización y temperaturas.

No predice qué cambio de configuración concreto provocará cobertura inferior al objetivo, superior al objetivo o apenas alterada.