ES
Los modelos de lenguaje paralelos coordinan varias predicciones de tokens a la vez
Parallel Language Models via Variational Decoding · arXiv:2610.26693
En palabras sencillas
Muchos modelos de lenguaje escriben un token cada vez, lo que puede hacer lenta la generación de texto. Este artículo presenta los Parallel Language Models: una parte aprende a leer el texto en orden y otra produce varios tokens coordinados a la vez, usando señales auxiliares compartidas.
En una prueba de matemáticas, una versión de 1,3 mil millones de parámetros sometida a entrenamiento posterior obtuvo una puntuación mayor y respondió más preguntas por segundo que un modelo del mismo tamaño que generaba un token cada vez. Ese resultado corresponde a este modelo y a esta configuración de prueba.
La investigación
¿Puede un modelo de lenguaje generar varios tokens en una pasada sin perder las dependencias que hacen coherente su respuesta? Los modelos autorregresivos producen un token por pasada, lo que puede ralentizar la inferencia a medida que crecen. Las predicciones en paralelo podrían reducir esa demora, pero necesitan una forma de coordinarse.
Los Parallel Language Models entrenan conjuntamente un codificador autorregresivo y un decodificador paralelo, y usan señales auxiliares para coordinar varias predicciones de tokens en una pasada.
Los autores sometieron a entrenamiento posterior un PLM de 1,3 mil millones de parámetros y lo compararon con un modelo autorregresivo del mismo tamaño. En GSM8K, una prueba de preguntas matemáticas que puntúa las respuestas correctas, el PLM obtuvo un 32,6%, frente al 27,9%; procesó 5,2 preguntas por segundo, frente a 0,9, en una GPU con un tamaño de lote de uno.
Esto muestra que esta configuración del PLM rindió mejor en esa prueba de matemáticas y procesó las preguntas más rápido en la configuración descrita. La comparación varía tanto el entrenamiento como la decodificación, por lo que no aísla el efecto de la generación en paralelo.
El resultado en GSM8K procede de una sola semilla de entrenamiento posterior, y los autores seleccionaron los puntos de control según su precisión en GSM8K.
Por eso, es una comparación acotada, no una prueba final independiente. El artículo tampoco informa de un modelo autorregresivo de 3 mil millones de parámetros para la comparación.
Qué muestran las pruebas
- El límite de un token por pasada
Los Parallel Language Models (PLM) son un marco de modelos de lenguaje que aprende de secuencias de texto y genera varios tokens coordinados en paralelo. El problema de partida es que un modelo autorregresivo produce un token por pasada, lo que puede ralentizar la inferencia a medida que crecen los modelos.
Predecir varios tokens juntos podría reducir esa demora, pero las predicciones deben seguir coordinadas.
- Aprender a coordinar las predicciones
Un PLM entrena un codificador autorregresivo para convertir el texto en variables auxiliares y luego entrena un decodificador paralelo para reconstruirlo a partir de esas variables. El objetivo de entrenamiento combina los errores de reconstrucción y de predicción autorregresiva.
Las variables auxiliares transmiten dependencias entre las predicciones simultáneas, de modo que el decodificador puede coordinar su salida en una sola pasada. El marco aprende directamente de secuencias, en lugar de destilar el conocimiento de un modelo existente.
- Una decisión de diseño mejora la reconstrucción
Los autores probaron una decisión de diseño con modelos de 150 millones de parámetros entrenados con 7,5 mil millones de tokens. Sin alineación de representaciones, las asignaciones de Voronoi que tienen en cuenta la geometría produjeron un prefijo reconstruido promedio de 1,785 tokens por bloque, frente a 1,705 con asignaciones por cuantiles.
Esta medida cuenta el prefijo inicial exacto que recupera el decodificador. El resultado respalda el diseño en esta configuración, con una semilla por condición.
- Un resultado matemático acotado
En una comparación posterior al entrenamiento con modelos de 1,3 mil millones de parámetros, el PLM obtuvo un 32,6% en GSM8K, una prueba de matemáticas que puntúa la corrección de las respuestas, frente al 27,9% de un modelo autorregresivo del mismo tamaño. También procesó 5,2 preguntas por segundo, frente a 0,9, en una GPU con un tamaño de lote de uno.
Los modelos diferían en el objetivo de entrenamiento, la arquitectura y la decodificación, así que la comparación no aísla un solo factor.
- Qué limita la evidencia
La evaluación posterior al entrenamiento también incluyó generación de código y seguimiento de instrucciones, pero la selección de puntos de control se basó en la precisión en GSM8K, y todas las comparaciones posteriores al entrenamiento usaron una sola semilla.
El artículo no informa de un modelo autorregresivo de 3 mil millones de parámetros para la comparación. Por separado, la continuación de texto con modelos preentrenados se evaluó en FineWeb-Edu porque ClimbMix no tenía una partición reservada para evaluación y un conjunto de evaluación construido se solapaba en parte con los datos de entrenamiento.
Detalles
- Autores del paper original
- Felix Draxler, Robin C. Geyer, Daniel Geyfman, Farrin Marouf Sofian, Justus Will
- Enviado a arXiv
- Licencia
- CC BY 4.0