Ajustar la generación paralela al trabajo que la ralentiza
Un agente telefónico puede esperar en cada acción de pantalla, mientras que un generador de texto puede dedicar tiempo a proponer, verificar o reconstruir su salida. El trabajo en paralelo ayuda cuando alcanza la parte costosa de ese flujo de trabajo particular.
En estos estudios, trasladar o solapar trabajo produce mejoras comunicadas de rendimiento o latencia en usos y configuraciones de servicio específicos.
JetSpec++ también informa una mejora en el servicio, mientras que sus predicciones del contexto futuro siguen siendo estimaciones hasta la verificación. Los resultados respaldan evaluar cada método según su resultado local, sin crear una clasificación común de velocidad.
Qué comprenderás
¿Qué parte de la generación ejecuta en paralelo cada método, solapa con otro trabajo o reutiliza?
¿Qué miden los tokens de salida por segundo, los documentos por segundo y los segundos por solicitud en las comparaciones comunicadas?
¿Por qué un pronóstico del resultado de una verificación no equivale a un resultado medido del servicio?
Localizar el trabajo secuencial
Imagina que le pides a un agente en el teléfono que cambie un ajuste. Lee la pantalla, elige dónde tocar, espera a que responda la aplicación y luego lee la siguiente pantalla antes de volver a elegir.
Cada solicitud al modelo puede producir solo una acción breve, pero la demora se acumula a lo largo de la tarea. La ejecución en el teléfono también deja intervalos entre solicitudes.
Para entender la velocidad en este caso, conviene medir el tiempo por solicitud en esa interacción repetida, no solo cuánto tarda un modelo en generar un texto largo.
La generación de textos largos implica otra clase de espera. Un sistema puede proponer varios tokens a la vez, pero un modelo más grande todavía tiene que revisar la propuesta.
Otro sistema puede refinar muchas posiciones simultáneamente y, aun así, procesar una secuencia larga en cada paso de refinamiento. Agrupar trabajo en paralelo puede acortar una parte de la generación y dejar otra en secuencia.
Para entender una mejora comunicada, hay que localizar qué trabajo se trasladó y determinar qué midió el experimento.
Los cuatro estudios de aquí abordan distintos costos de ese proceso. Uno corrige un bloque de tokens propuesto antes de verificarlo; otro genera representaciones comprimidas y las convierte en texto; un tercero prepara el siguiente bloque mientras sigue la verificación; y otro reutiliza el estado entre solicitudes cambiantes de un agente telefónico.
La pregunta común es dónde se realiza el trabajo de generación después de cada cambio y qué resultado medido muestra que el cambio fue relevante en su propio contexto.
Cómo continúa la lección
Interpretar lo que se midió
Distinguir el pronóstico del resultado
Limitar la comparación a cada contexto