ES
ProVe acelera la generación al comprobar bloques de tokens propuestos
ProVe: Proposer-Verifier Decoding · arXiv:2610.27815
En palabras sencillas
Los modelos de lenguaje suelen escribir un token cada vez. ProVe es un método de decodificación que permite que un modelo entrenado para ello proponga un bloque de tokens futuros en una sola pasada; luego, otra pasada comprueba cuántos tokens del bloque se conservan.
En pruebas con un modelo Qwen de 32B, la versión que se verifica a sí misma conservó exactamente la salida greedy habitual del modelo y promedió un throughput mayor que la decodificación habitual en seis pruebas de instrucciones. El resultado corresponde a la configuración evaluada, no a todos los modelos o tareas.
La investigación
Los modelos de lenguaje que generan un token por pasada requieren repetir trabajo en serie. La decodificación especulativa estándar usa un modelo más pequeño que también propone tokens en serie.
La pregunta pendiente es si un modelo grande entrenado para proponer un bloque de una vez puede acelerar la generación y cuánto cuesta comprobar esas propuestas.
ProVe permite que un modelo de lenguaje entrenado por bloques proponga tokens futuros y luego los comprueba para conservar la salida greedy o intercambiar algo de precisión por velocidad.
Para acelerar la generación de texto, ¿puede un modelo grande proponer varios tokens futuros a la vez en lugar de depender de un modelo más pequeño que los propone en serie?
ProVe entrena un modelo para proponer un bloque y después usa una segunda pasada para comprobar los tokens propuestos y decidir cuántos conservar.
En seis pruebas de instrucciones, la versión que se verifica a sí misma reprodujo la salida greedy habitual del proponente y promedió 2,54 veces su throughput relativo. Con un verificador más pequeño, los autores midieron promedios más rápidos y pequeñas caídas medias de precisión en las configuraciones probadas, lo que respalda la existencia de un intercambio entre velocidad y precisión.
Los experimentos usan decodificación greedy con modelos Qwen y un proponente de escala 32B; los modelos de instrucciones y de razonamiento se evalúan con conjuntos de tareas distintos.
Los resultados no establecen el rendimiento en otras familias o escalas de modelos, con muestreo ni con sistemas de servicio más optimizados.
Qué muestran las pruebas
- Cambiar quién propone
ProVe, o decodificación con proponente y verificador, es un método para modelos de lenguaje autoregresivos.
La decodificación habitual produce un token por pasada, mientras que la decodificación especulativa estándar sigue proponiendo tokens en serie con un modelo más pequeño. ProVe plantea si un modelo entrenado para proponer varios tokens futuros en una sola pasada puede asumir esa función. Un proponente crea un bloque y un verificador decide cuánto de la secuencia propuesta se acepta.
- Comprobar qué contienen los bloques
Los autores comprobaron primero si los bloques propuestos ya contenían tokens útiles que la regla basada solo en la confianza del proponente no detectaba. En GSM8K, una prueba de resolución de problemas matemáticos de nivel escolar, compararon bloques de 16 tokens en continuaciones greedy de 300 problemas seleccionados al azar con la salida greedy token a token del proponente.
El prefijo coincidente promedió 6,6 tokens, mientras que la regla MARS basada solo en la confianza aceptó 3,0 tokens por bloque con su umbral predeterminado. La comparación mantiene iguales el proponente y los bloques, y aísla en este diagnóstico el efecto de añadir una pasada de verificación.
- Medir la aceleración sin cambiar la salida
ProVe-lossless usa el propio proponente como verificador: compara el bloque con las elecciones greedy de siguiente token del proponente y corrige la primera discrepancia. En seis pruebas de instrucciones con un proponente Qwen2.5-32B-Instruct, reprodujo la misma salida greedy y promedió 2,54 veces el throughput relativo de la decodificación greedy habitual en el mismo nodo.
Aquí, throughput significa el total de tokens generados dividido por el tiempo total transcurrido, medido con una solicitud en curso. El promedio resume las seis pruebas y no describe cada una por separado.
- Intercambiar precisión por velocidad
Un verificador más pequeño ofrece otro punto de operación. En las mismas seis pruebas, un verificador estándar de 7B con umbral de 0,05 promedió 2,30 veces el throughput relativo, con una precisión media 0,3 puntos porcentuales inferior a la decodificación greedy habitual.
Un verificador estándar de 3B con umbral de 0,01 promedió 2,72 veces el throughput, con una caída media de 2,6 puntos en precisión. Son promedios del conjunto de tareas comparados con la referencia del mismo proponente; los resultados muestran que las opciones probadas de umbral y verificador intercambian precisión por velocidad.
- Probar un modelo de razonamiento
Una evaluación aparte usó Qwen3-32B en modo thinking con GSM8K y MATH-500. Frente a la decodificación greedy habitual de ese proponente, ProVe-lossless alcanzó 2,47 veces el throughput relativo en GSM8K y 2,79 veces en MATH-500.
ProVe con un verificador estándar de 0,6B alcanzó respectivamente 2,34 y 3,16 veces, con un umbral de 0,10. Esto respalda el uso del método en otro contexto probado, y mantiene el resultado separado de la evaluación de seis pruebas de instrucciones.