ES
Cuando las auditorías de tarea completa juzgan mal verificadores de componente
Better Policies, Worse Verifier Audits · arXiv:2610.29029
En palabras sencillas
Una tarea puede exigir que dos cosas salgan bien, aunque el verificador solo puntúe una. El artículo estudia qué pasa cuando se juzga al verificador según el éxito de toda la tarea, sobre todo después de que una política cambie los tipos de fallos que produce.
Los autores muestran que esa puntuación de la tarea completa puede inducir a error. En una prueba de canalizaciones de ECG, actualizar un verificador con etiquetas de la tarea completa redujo su capacidad para detectar los fallos del componente que debía revisar.
En las configuraciones probadas, conservar ejemplos de esos fallos en los datos de actualización mantuvo el rendimiento.
La investigación
Si se juzga a un verificador según si tiene éxito la tarea completa, ¿su puntuación todavía indica si detecta el fallo concreto para el que fue diseñado? Esto importa cuando una política cambia la mezcla de fallos entre los candidatos que se usan para auditar o actualizar ese verificador.
El artículo deriva cómo las auditorías de tarea completa pueden juzgar mal un verificador de componente y prueba el daño de actualizarlo y una corrección que conserva sus ejemplos de fallos.
Los autores analizan un verificador diseñado para comprobar una condición cuando se lo puntúa frente a la tarea completa. Su descomposición explica por qué la puntuación puede desplazarse hacia los fallos de otra condición a medida que cambian los resultados de la política.
La puntuación de un oráculo exacto de motores frente a la tarea completa cayó entre conjuntos de políticas, aunque sus juicios sobre el componente siguieron siendo exactos.
En las pruebas de ECG, actualizar con etiquetas del resultado completo debilitó la evaluación del componente fuera de política y la selección posterior; conservar fallos de la política base mantuvo el rendimiento en esas configuraciones.
Los resultados de actualización operativa proceden de pruebas solo con CPU sobre una tarea de procesamiento de señales de ECG, dos tipos de verificadores y diez particiones solapadas de sujetos por configuración. El artículo no probó actualizar un verificador basado en un modelo de lenguaje grande ni ejecutar aprendizaje por refuerzo en línea con un verificador actualizado. Los resultados de ECG tampoco constituyen una validación clínica.
Qué muestran las pruebas
- Auditar la tarea completa
El artículo desarrolla una teoría y un método de auditoría para un verificador que comprueba una condición dentro de una tarea que exige cumplir varias. Pregunta si una auditoría sigue siendo significativa cuando puntúa la tarea completa y cambia la política que produce los candidatos.
En concreto, evalúa un verificador de componente frente a los resultados de la tarea completa y usa su puntuación agregada para compararlo o actualizarlo.
- Dos tipos de fallo
Si el éxito exige cumplir F y M, hay dos grupos de fallos: candidatos que incumplen F y candidatos que cumplen F pero incumplen M. El área bajo la curva de clasificación por orden (AUC) de la auditoría combina qué tan bien el verificador ordena los éxitos por encima de cada grupo. El peso del segundo grupo es la proporción de fallos que ya cumplen F, que puede aumentar cuando la política mejora en F.
- El orden puede invertirse
La teoría muestra que, cuando esa proporción supera cierto umbral, la puntuación agregada puede preferir un verificador que distingue mejor los fallos de M, aunque distinga peor sus propios fallos de F. El mejor resultado posible de esa puntuación en la población corresponde a un predictor de la tarea completa, no al oráculo del componente.
Así, el objetivo agregado de clasificación por orden puede dejar de reflejar la calidad del componente que debería auditar.
- Verificador exacto, menor puntuación
Un oráculo exacto de viabilidad en el control de motores siguió siendo exacto para su propia condición, pero su AUC frente a la tarea completa bajó de 0.8326 en el conjunto de la política base a 0.5187, 0.5145 y 0.5113 en tres conjuntos sum-DPO.
Es un control simplificado de motores: la puntuación promedió requisitos con ambas clases de resultado y los conjuntos de políticas eran distintos.
- La actualización perjudicó al componente
El estudio de actualización con ECG probó si actuar según la auditoría podía perjudicar a un verificador de componente. Frente al especialista desplegado, actualizar con etiquetas del resultado completo redujo la AUC del componente fuera de política en resultados de generadores de origen y no vistos.
Al usar ese verificador para elegir hasta 16 candidatos, también aumentaron las infracciones de restricciones y bajó Answer@16. Son promedios de diez particiones emparejadas de sujetos en cada familia y configuración de cabezal reportadas.
- Conservar ejemplos de fallos
Las etiquetas correctas del componente por sí solas no evitaron todas las pérdidas: una configuración de ECG todavía perdió 0.235 de AUC del generador de origen. Añadir candidatos de la política base, incluidos fallos, y conservar las etiquetas del componente mantuvo la AUC del generador de origen en 1.000 en todas las configuraciones reportadas, y la del generador no visto entre 0.998 y 1.000.
Esto respalda conservar ejemplos de fallos del componente en los datos de actualización dentro de la configuración de ECG probada.
Detalles
- Autores del paper original
- Daniel Cieślak, Jacek Łubiński
- Enviado a arXiv
- Licencia
- CC BY 4.0