RoleQ ajusta las escalas de los pesos ternarios a la función de cada unidad

Con menos de cuatro bits por peso, un modelo de lenguaje puede seguir prediciendo texto de forma aceptable y, aun así, perder conocimientos factuales y precisión en tareas.

El artículo pregunta si convertir un checkpoint existente en pesos ternarios puede conservar más de esos conocimientos sin depender de los costosos procedimientos de entrenamiento que usan algunas alternativas.

RoleQ-T convierte modelos de lenguaje existentes en pesos ternarios y asigna escalas según si cada unidad lee del flujo residual compartido o escribe en él.

Los autores preguntan si es posible convertir modelos de lenguaje existentes a pesos con muy pocos bits sin perder tantos conocimientos factuales y tanta precisión en tareas.

RoleQ-T combina escalas asignadas según la función de cada unidad con un procedimiento de conversión ternaria y un breve paso que ajusta las escalas mientras mantiene fijos los códigos de los pesos.

En Qwen3-8B-Base, el sistema de evaluación de los autores registró una puntuación de 47.6 en MMLU tras ese paso, frente a entre 25.9 y 34.8 para tres métodos ternarios evaluados después del entrenamiento, en sus etapas disponibles de mejor rendimiento.

MMLU evalúa conocimientos académicos y mide la proporción de respuestas correctas. El resultado respalda el método en ese checkpoint, aunque las tasas y etapas de los métodos difieren.

Estos resultados abarcan el almacenamiento de los pesos y pruebas de calidad seleccionadas en los checkpoints indicados. La ventaja de colocar las escalas según la función se observó con una base rotada, y la evaluación no mide generación, razonamiento, velocidad ni consumo de energía.