La compilación paralela acelera el control de modelos de lenguaje con acciones finitas

Cuando un modelo de lenguaje debe elegir entre un conjunto limitado de acciones, ¿puede hacer que las elecciones posteriores dependan de las anteriores sin pagar una pasada separada del modelo por cada token generado?

El artículo estudia si es posible calcular las decisiones del controlador en paralelo y conservar la misma regla dependiente del historial.

El método evalúa prefijos de acciones alcanzables en paralelo y conserva las elecciones de un controlador de acciones finitas, sustituyendo la decodificación token a token por dos pasadas del modelo.

Los autores compilan en dos pasadas un controlador restringido que selecciona secciones de documentos: una resuelve la primera elección y otra evalúa conjuntamente las elecciones posteriores alcanzables, conservando el historial de cada una.

Así mantienen la regla de decisión secuencial del controlador sin generar el texto restringido token a token.

En QASPER, un conjunto de artículos científicos usado para responder preguntas mediante recuperación jerárquica de secciones, el control compilado coincidió con el recorrido completo del controlador serial en el 84–89 % de las preguntas por división, en cuatro divisiones y con un modelo de 7B.

Redujo la latencia media por pregunta entre un 35 % y un 41 %. Las diferencias medidas ocurrieron en decisiones con probabilidades casi empatadas bajo precisión finita, mientras que la demostración de equivalencia supone aritmética exacta.

El resultado de equivalencia exacta supone aritmética exacta y máscaras, orden de candidatos y desempates coincidentes.

En las ejecuciones probadas con precisión finita, las decisiones con probabilidades casi empatadas a veces diferían; el controlador de recuperación evaluado usó horizontes de hasta tres acciones, y la carga de trabajo paralela crece rápidamente en horizontes más largos.