ES
Un planificador asigna sesiones de IA según los tiempos de las herramientas
TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving · arXiv:2610.37230
En palabras sencillas
Los agentes de IA se turnan para pedir ayuda a un modelo de lenguaje y esperar a herramientas externas, como un compilador. Mientras un agente espera, otra sesión puede usar su tiempo de GPU.
El artículo presenta TAO, un planificador que usa el momento probable de respuesta de las herramientas, los datos de conversación que pueden reutilizarse y el tamaño de cada sesión para decidir qué agentes en espera usan cada GPU.
En 12 configuraciones evaluadas de modelo, carga de trabajo y concurrencia, la mayor reducción comunicada del tiempo medio por tarea fue del 26.8% frente al mejor planificador evaluado para esa métrica. Ese tiempo incluye la ejecución de herramientas, y la mayor mejora no apareció en todas las configuraciones.
La investigación
Cuando un agente de IA espera a una herramienta externa, otro puede aprovechar su capacidad de GPU, pero el planificador también debe tener en cuenta cuándo regresará la sesión en espera.
¿Cómo puede elegir entre sesiones que compiten por los mismos nodos de GPU, conservar los datos de caché útiles y atender pronto a las que probablemente necesitarán el modelo?
TAO combina los tiempos de retorno de las herramientas, la reutilización de caché y el tamaño de las sesiones para elegir y asignar sesiones de agentes en espera según la capacidad de GPU.
TAO compara su planificador con alternativas evaluadas en 12 configuraciones de modelo, carga de trabajo y concurrencia.
Las mayores reducciones comunicadas fueron del 26.8% en la latencia media de las tareas y del 36.3% en el tiempo medio hasta el primer token; el rendimiento de decodificación aumentó hasta un 29.5%. La latencia de las tareas incluye la ejecución de herramientas, y cada máximo se calcula frente a la mejor alternativa evaluada para esa métrica y configuración.
Estos resultados respaldan que TAO puede mejorar el rendimiento del servicio en las condiciones evaluadas, pero las mejoras no son uniformes. Con 128 trabajadores, Qwen3-32B y SWE-verified, la latencia media de las tareas fue un 2.5% mayor que la de ThunderAgent.
Las mejoras comunicadas son los máximos observados entre 12 combinaciones de modelo, carga de trabajo y concurrencia, no resultados obtenidos en todas ellas.
El límite que presenta el artículo para los planes aplicados después de tomar una instantánea se refiere al valor de planificación bajo las condiciones indicadas; no limita la latencia de las tareas ni el rendimiento frente a un planificador en línea globalmente óptimo.
Qué muestran las pruebas
- La pregunta de planificación
TAO es un sistema de planificación conjunta que tiene en cuenta las herramientas para atender agentes basados en modelos de lenguaje. Las sesiones de los agentes alternan entre solicitudes a un modelo en GPU agrupadas en clústeres y llamadas a herramientas externas que se ejecutan en CPU distribuidas.
Mientras una herramienta está en marcha, su sesión no necesita inferencia en GPU, así que el planificador puede asignar esa capacidad a otra sesión. La pregunta es cómo tener en cuenta el probable regreso de cada sesión al elegir entre varias que compiten por los mismos nodos.
- Por qué conviene decidir en conjunto
Los planificadores existentes pueden pasar por alto cuándo regresarán las herramientas y tomar decisiones de admisión y asignación con reglas heurísticas para cada sesión. Pero las sesiones compiten por la capacidad compartida de los nodos: elegir una puede impedir una combinación de otras más valiosa.
TAO asigna un valor a cada par admisible de sesión y nodo según el crédito de caché, la probabilidad de que una herramienta responda pronto y el número de tokens, en ese orden de prioridad; luego elige las asignaciones en conjunto, respetando los límites de capacidad de cada nodo.
- Qué muestran los resultados principales
El artículo compara TAO con los planificadores evaluados en 12 configuraciones de modelo, carga de trabajo y concurrencia. Comunica mejoras relativas máximas del 26.8% en la latencia media de las tareas de extremo a extremo, del 36.3% en el tiempo medio hasta el primer token y del 29.5% en el rendimiento de decodificación. La latencia de las tareas incluye la inferencia del modelo y la ejecución de herramientas; el rendimiento cuenta los tokens de salida por segundo.
Cada máximo se calcula frente a la mejor alternativa evaluada para esa métrica y configuración, que puede variar.
- Una configuración con más latencia
Los máximos no representan mejoras en todas las configuraciones. En una comparación comunicada con Qwen3-32B en SWE-verified y 128 trabajadores, la latencia media de las tareas de TAO fue un 2.5% mayor que la de ThunderAgent.
Esta excepción aclara el alcance de los resultados destacados: el artículo comunica las mayores mejoras relativas de un conjunto de configuraciones, no garantiza que TAO reduzca la latencia en cada una.
- Qué aporta la comparación de componentes
Una comparación aparte de componentes usó DeepSeek-V4 Flash en SWE-Lite con 32 trabajadores repartidos en dos nodos. TAO completo produjo 1,417.97 tokens de salida por segundo; las variantes que quitaron el valor de caché o la señal de disponibilidad, cambiaron el orden de pausa o sustituyeron la reanudación conjunta obtuvieron menos rendimiento.
En esa configuración, la comparación respalda que tanto la valoración como las decisiones de reanudación contribuyen al resultado, aunque el alcance de una sola configuración limita hasta dónde se pueden generalizar esos efectos.
Detalles
- Autores del paper original
- Shuhuai Li, Shengdong Ye, Dongdong Ge, Yinyu Ye, Jianghao Lin
- Enviado a arXiv
- Licencia
- CC BY 4.0