ES
StreamAhead adapta el procesamiento de vídeo antes de las preguntas
StreamAhead: Real-Time Streaming Video Question Answering via Adaptive Precomputation · arXiv:2610.25551
En palabras sencillas
Un sistema que responde preguntas sobre vídeo en directo debe seguir el ritmo de las nuevas imágenes, pero no sabe cuándo llegará una pregunta. StreamAhead ajusta cuánto trabajo hace por adelantado en cada parte del vídeo y, cuando llega una pregunta, termina de procesar las partes que necesita.
En una prueba de reproducción, procesó 30 fotogramas por segundo y mantuvo por debajo de medio segundo la espera del percentil 95 entre la pregunta y el primer token generado. El resultado corresponde a la configuración y la reproducción probadas.
La investigación
¿Cómo puede un sistema que responde preguntas sobre vídeo mantener el ritmo de un flujo en directo y contestar con rapidez si no sabe cuándo llegará una pregunta?
Hacer más trabajo por adelantado puede acelerar las respuestas, pero puede dejar esperando al vídeo entrante; aplazar ese trabajo puede alargar la respuesta.
StreamAhead permite que cada segmento de vídeo avance según los recursos disponibles y termina de procesar los segmentos recuperados cuando llega una pregunta, para equilibrar la velocidad del flujo y el tiempo de respuesta.
StreamAhead guarda cada segmento de vídeo después de distintos niveles de procesamiento; luego reutiliza el resultado guardado más completo y termina solo lo que aún necesitan los segmentos recuperados.
Su planificador calcula esos costes, da prioridad al trabajo necesario para responder cuando llega una pregunta y aprovecha la capacidad disponible de CPU y GPU para preparar más segmentos.
Los autores informan de la precisión en pruebas de preguntas sobre vídeo y, en una prueba de reproducción con distintas velocidades, del procesamiento a 30 fotogramas por segundo mientras la espera del percentil 95 desde la llegada de la pregunta hasta el primer token generado se mantuvo por debajo de 0,5 segundos.
Esto respalda ajustar de antemano cuánto trabajo se realiza para equilibrar el vídeo entrante y el tiempo de respuesta.
La evidencia procede de las cargas de trabajo y configuraciones probadas. Los segmentos se codifican de forma independiente, lo que limita cuánto pueden interactuar; las pruebas del sistema usaron una GPU, repitieron fotogramas de origen cuando la velocidad de procesamiento superaba la frecuencia de fotogramas del vídeo y emplearon perfiles que presuponen una carga de trabajo estable.
Qué muestran las pruebas
- El conflicto de tiempos
StreamAhead es un codesarrollo de algoritmo y sistema para responder preguntas sobre vídeo en directo. Aborda un conflicto de tiempos: el sistema debe procesar las imágenes a medida que llegan, pero no sabe cuándo aparecerá una pregunta.
Hacer más cálculos por adelantado puede reducir el trabajo posterior a la pregunta, mientras que un exceso de trabajo anticipado puede hacer que el sistema se retrase respecto al vídeo entrante.
- Trabajo dividido en segmentos
El sistema divide el vídeo en segmentos independientes que pueden detenerse en distintas etapas de procesamiento. Un segmento puede conservar sus fotogramas, sus características visuales o una caché de pares clave-valor independiente de la consulta.
Cuando llega una pregunta, StreamAhead recupera los segmentos pertinentes, reutiliza la etapa más completa disponible para cada uno y realiza solo los cálculos que faltan antes de combinarlos para responder.
- Evaluación de la calidad de las respuestas
Los autores midieron la precisión de las respuestas en OVO-Bench, que indica el porcentaje de preguntas sobre vídeo contestadas correctamente, y en StreamingBench Real-Time, que evalúa preguntas sobre vídeo en curso y también informa de la precisión. Con Qwen3-VL-8B, StreamAhead obtuvo un 76,9 % y un 53,5 % en los subconjuntos completos Perception y Backward de OVO-Bench.
Obtuvo un 79,30 % en una muestra aleatoria de aproximadamente la mitad de StreamingBench Real-Time; se excluyeron las preguntas que dependían del audio.
- Equilibrio entre velocidad y espera
Una prueba de reproducción midió la máxima velocidad de vídeo que cumplía un objetivo para la espera del percentil 95 entre la llegada de una pregunta y el primer token generado. StreamAhead procesó 30 fotogramas por segundo con una espera inferior a 0,5 segundos, y 57 fotogramas por segundo con una espera inferior a 2 segundos.
Las reproducciones abarcaron 20 segundos de vídeo, plantearon una pregunta al final y detuvieron la entrada de vídeo cuando llegó la pregunta.
- Prueba del solapamiento
Una prueba de control del entorno de ejecución comparó StreamAhead con una versión que desactivaba el solapamiento entre etapas de CPU y GPU, conservando la caché de GPU de 16 GiB y las optimizaciones de ejecución en GPU.
A 40 y 50 fotogramas por segundo, el sistema completo cumplió el objetivo de 0,5 segundos para el retraso de procesamiento del percentil 95; la versión sin solapamiento lo superó. Esto apunta a que el solapamiento ayuda a cumplir ese objetivo en las ejecuciones probadas.
Detalles
- Autores del paper original
- Haoyang Fan, Dhruv Parikh, Rajgopal Kannan, Viktor Prasanna
- Enviado a arXiv
- Licencia
- CC BY 4.0