Un sistema coordinado permite generar por bloques a modelos de lenguaje de baja precisión
En palabras sencillas
BitMTP es un marco que ayuda a modelos de lenguaje de muy baja precisión a escribir varios tokens en un solo paso. Entrena un modelo tanto para escribir un token cada vez como para proponer bloques breves, y luego ofrece distintas formas de decidir qué propuestas conservar.
Su entorno de ejecución también lleva la cuenta de qué tokens aceptados aún deben añadirse al historial del modelo. En una NVIDIA H20, los modelos probados generaron tokens más rápido en promedio con el método híbrido de BitMTP que con sus versiones autoregresivas supervisadas, mientras que las puntuaciones medias en cinco pruebas de generación se mantuvieron similares. El resultado se aplica a esos modelos y esas pruebas.
La investigación
¿Redactar varios tokens a la vez puede acelerar realmente la generación cuando un modelo usa cálculos de muy baja precisión? El trabajo adicional para producir borradores y actualizar el historial del modelo puede anular el ahorro, y una combinación ingenua perdió velocidad y calidad de las tareas en una prueba de baja precisión. BitMTP plantea si coordinar el entrenamiento, la decodificación y el entorno de ejecución puede resolver esa tensión.
BitMTP entrena conjuntamente la redacción por bloques y la generación del siguiente token, y luego alinea la decodificación con un entorno que reutiliza cálculos de baja precisión y el historial del modelo.
BitMTP entrena un modelo tanto para generar el siguiente token como para redactar varios tokens, y luego ofrece distintas formas de aceptar esos borradores. Su entorno de ejecución mantiene los tokens aceptados alineados con el historial causal del modelo para reutilizar cálculos de baja precisión durante la generación.
En una NVIDIA H20, los autores compararon BitMTP híbrido con rutas autoregresivas supervisadas en cinco pruebas de generación. La velocidad media de salida de tokens fue mayor para BitNet y dos tamaños de Bonsai, mientras que las puntuaciones medias de las tareas se mantuvieron similares.
Las pruebas abarcan seguimiento de instrucciones, razonamiento y código, por lo que estos promedios respaldan una mejora de velocidad acotada a las tareas evaluadas.
Estos resultados corresponden a los modelos indicados, de 1.7B a 4B, cinco pruebas de generación y configuraciones de GPU basadas en CUDA.
El artículo no especifica si cada modelo BitMTP y su referencia autoregresiva supervisada partieron del mismo punto de control; los modelos más grandes, los contextos más largos y el uso directo en aceleradores que no sean CUDA siguen sin validarse o no están respaldados.