Elige modelos de baja precisión según las restricciones del dispositivo
Un modelo de baja precisión puede obtener una buena puntuación y aun así incumplir las reglas aritméticas del dispositivo de destino. Una operación propuesta como más barata también puede carecer de una medición de su beneficio de hardware de extremo a extremo.
Elige el diseño que aborda la restricción real y luego interpreta su resultado de calidad dentro de la prueba descrita.
Estos estudios examinan distintas vías relacionadas con el cómputo, los pesos almacenados y las reglas fijas del acelerador; sus resultados no conforman una clasificación común de velocidad.
Qué comprenderás
¿Qué restricción aborda un método de baja precisión: la aritmética, los pesos almacenados o las reglas de un dispositivo fijo?
¿Qué modelo, comparación y cálculo respaldan cada resultado de calidad descrito?
¿Qué afirmaciones de coste se refieren a un comportamiento medido y cuáles aún requieren una prueba de ejecución o de hardware?
Parte de las reglas aritméticas del dispositivo
Imagina adaptar un clasificador de imágenes a un acelerador de borde. Reducir la precisión de sus pesos puede ahorrar espacio, pero el dispositivo también determina cómo se escalan los números y cómo cada capa desplaza su salida.
Una red de baja precisión que ignore esas reglas quizá no llegue a compilarse. En un modelo de lenguaje, el coste más apremiante podría ser, en cambio, el cálculo repetido necesario para generar texto.
En ambos casos puede recurrirse a la cuantización: representar los valores del modelo con menos niveles disponibles.
En la familia MAX7800x, el clasificador de imágenes debe respetar un conjunto fijo de reglas aritméticas. Entre ellas hay escalas en potencias de dos compartidas por todo un tensor, activaciones y sesgos de 8 bits, e inferencia solo con enteros.
El dispositivo fija el desplazamiento de cada capa antes de ejecutarla y no puede ajustar las escalas donde se unen las ramas de la red. ShiftQAT es un proceso de entrenamiento diseñado para respetar esas reglas; por eso debe tener en cuenta las conexiones de la red además del ancho de sus números.
El caso de los modelos de lenguaje plantea otro objetivo. La cuantización fraccionaria en potencias de dos, o FPoT, modifica los niveles disponibles para los pesos almacenados y mantiene las activaciones en un formato entero uniforme.
Su propósito es sustituir las multiplicaciones de las operaciones lineales del modelo por desplazamientos y sumas. Por tanto, una evaluación útil tiene dos partes: comprobar si se conserva la calidad en las tareas con esa representación de pesos y examinar qué pruebas respaldan la reducción de cómputo propuesta.
Cómo continúa la lección
Lee la calidad dentro de cada prueba
Vincula cada afirmación de coste con sus pruebas
Elige el método según el cuello de botella