Certificar robustez cuando cambian las rutas del modelo

Un certificado de robustez pretende indicar que una predicción se mantendrá ante los cambios de texto permitidos. Pero en un modelo de mezcla de expertos, esos cambios pueden alterar qué expertos se ejecutan.

Esto plantea una pregunta concreta: ¿sigue describiendo el certificado el cálculo del modelo cuando cambia su ruta?

CertMoE certifica qué expertos pueden usar las entradas modificadas y si las predicciones se mantienen estables dentro de ese conjunto certificado.

Un certificado de robustez solo es útil si abarca el cálculo que el modelo ejecuta realmente. En los modelos de lenguaje de mezcla de expertos, una entrada modificada puede seleccionar otros expertos.

¿Puede un certificador tener en cuenta esas rutas cambiantes y comprobar si las predicciones siguen siendo estables?

CertMoE primero certifica que las entradas modificadas permanezcan dentro de un conjunto más amplio de expertos y después certifica la estabilidad de la predicción en un modelo restringido a ese conjunto.

En la prueba de clasificación de sentimientos de un modelo, añadirlo a RanMASK redujo del 32,98 % al 6,25 % la proporción de entradas certificadas en las que los ataques encontraron cambios en la predicción. Esto respalda certificados más selectivos en ese contexto, aunque los ataques solo buscaron en una parte de cada región certificada.

Estos resultados de ataques son evidencia obtenida al buscar en solo una parte de cada región certificada; no prueban de forma exhaustiva que todos los certificados se cumplan o fallen. La evaluación abarca clasificación de texto en tres modelos MoE representativos; no se probaron otras arquitecturas ni tareas de generación.