¿Qué más cambia al corregir un modelo?

Un modelo puede aprender de un corpus nuevo y perder comportamientos anteriores, recibir ruido que protege la privacidad y perder precisión en la tarea, o rechazar una solicitud dañina y también una petición inofensiva cercana. Alcanzar el objetivo previsto deja sin responder una pregunta próxima.

Los estudios proponen una forma acotada de investigar: localizar qué cambia, elegir un comparador y examinar el límite pertinente más cercano. Ese límite varía entre las actualizaciones durante el entrenamiento, la calibración de privacidad y la reparación de instrucciones.

Ni un mecanismo plausible ni una puntuación amplia tranquilizadora resuelven las preguntas de los otros estudios.

Imagina que adaptas un modelo de lenguaje a un corpus nuevo, pero aún necesitas que maneje el material anterior. Los ejemplos nuevos quizá digan poco sobre algunas palabras que el modelo usaba antes.

Aun así, el mecanismo que produce sus salidas puede cambiar incluso para palabras que no aparecen como objetivos en esos ejemplos. Si empeora el comportamiento anterior, saber que el modelo aprendió el material nuevo no basta para identificar qué parte de la adaptación merece atención.

Considera ahora un procedimiento de entrenamiento que añade ruido para limitar lo que alguien puede deducir sobre si se usó un registro concreto. Un nivel de ruido más alto puede resultar tranquilizador para ese fin, pero también puede afectar la precisión del modelo en su tarea.

La decisión práctica no consiste solo en añadir ruido, sino en comparar distintas formas de elegir su cantidad y definir con precisión qué pregunta de privacidad se quiere responder.

O supón que un modelo ha proporcionado ayuda dañina y que un cambio específico hace que rechace esa solicitud. También podría rechazar una petición inofensiva con una redacción parecida.

Una prueba amplia de las capacidades generales del modelo podría mostrar pocos cambios mientras persiste ese error cercano. En estos casos, la pregunta es cómo evaluar un cambio específico frente al límite que con mayor probabilidad revele qué aspectos de su éxito declarado siguen sin resolverse.