Un método basado en bits compara el contexto con los pesos del modelo

Cuando un modelo recibe ejemplos nuevos, ¿debería usarlos en un contexto temporal o el entrenamiento debería incorporarlos a sus pesos? El contexto se reconstruye para hacer predicciones, mientras que el entrenamiento cambia el estado almacenado del modelo.

El artículo pregunta cómo comparar estas opciones a partir de las predicciones que generan para consultas nuevas.

El método compara cuántos bits ahorran las predicciones con consultas reservadas usando el contexto y los pesos entrenados, y luego elige entre ellos mediante límites de capacidad o una prueba con consultas reservadas.

Para comparar el contexto con los pesos entrenados con los mismos ejemplos, el método mide cuánto acorta cada opción las descripciones de nuevas consultas basadas en probabilidades; después compara la ganancia de un canal con el límite de capacidad del otro.

En un transformer entrenado de tres capas, se emitieron certificados en 25 de 64 comparaciones y todas las decisiones coincidieron con los ganadores medidos. Cuando los ejemplos cabían en la ventana de caché probada, las recetas seleccionadas de ajuste fino completo no modificaban los pesos y la caché ahorraba de 2.7 a 7.0 bits más por bloque de consulta.

Los certificados requieren términos de información exactos, que el artículo tiene para distribuciones diseñadas; cuando se desconocen, se usa una prueba con consultas reservadas.

La concordancia en las comparaciones presentadas no demuestra que los certificados siempre decidan correctamente en otros contextos.