Triage adapta el cálculo de atención de video a cada bloque
Triage: Skip, Skim, or Refine Attention Tiles in Video Diffusion Transformers · arXiv:2610.35706
En palabras sencillas
Los modelos de difusión de video usan la atención para relacionar muchos tokens visuales, y ese cálculo puede ser costoso. Triage es un método que no requiere entrenamiento y decide, bloque por bloque, si omite un cálculo, usa una versión rápida de 4 bits o añade una corrección para mejorar la precisión. En pruebas de cuatro modelos de video y cinco configuraciones, una de las opciones probadas de Triage fue más rápida que las alternativas evaluadas en cada caso y produjo videos con un PSNR (relación señal-ruido máxima) mayor que el de la alternativa más fiel.
El PSNR compara cada video generado con la referencia generada mediante cálculo denso; un valor mayor indica una semejanza más estrecha. Estos resultados corresponden a los modelos y las GPU Blackwell probados.
La investigación
Los transformers de difusión de video dedican una cantidad considerable de cálculo a la atención entre muchos tokens visuales.
Los métodos existentes pueden omitir bloques, usar menor precisión o combinar ambas opciones, pero no adaptan la precisión de cada bloque que conservan. La pregunta es si la atención puede ahorrar cálculo y, a la vez, mantener cálculos más precisos en los bloques donde las aproximaciones podrían importar más.
Triage asigna a cada bloque de atención de video la opción de omitirlo, calcularlo con baja precisión o corregirlo cuando la reducción estimada del error justifica el trabajo adicional.
Los autores preguntan si la atención de video puede reducir el cálculo sin perder fidelidad donde más importa. Triage responde estimando el error de cada bloque con distintos niveles de cálculo y añadiendo trabajo solo cuando la reducción de error prevista lo justifica.
En cinco configuraciones, los investigadores encontraron una opción probada de Triage que fue más rápida que cada método de referencia evaluado que no requiere entrenamiento y obtuvo un PSNR (relación señal-ruido máxima) superior al del método de referencia con el PSNR más alto, frente a videos generados mediante cálculo denso.
El PSNR compara cada video generado con la referencia densa; un valor mayor indica una semejanza más estrecha. El resultado respalda esta distribución adaptativa en los modelos y el hardware probados.
Las estimaciones de error del enrutador se basan en supuestos simplificadores; no son errores exactos ni límites superiores certificados.
Los resultados de extremo a extremo abarcan cinco configuraciones en GPU Blackwell individuales, y algunos pasos y cálculos ajenos a la atención se mantuvieron densos.
Qué muestran las pruebas
- Una decisión para cada bloque
Triage es un método de atención para transformers de difusión de video que no requiere entrenamiento. Aborda una tensión práctica en el cálculo de atención: omitir cálculos ahorra trabajo, pero puede perder información; usar baja precisión en todas partes puede introducir errores en bloques importantes. Los autores preguntan si el cálculo puede ajustarse a la importancia probable de cada bloque.
- Cada fila puede requerir otra opción
Para comprobar por qué una sola distribución fija puede quedarse corta, los investigadores compararon atención dispersa, de baja precisión y combinada con el mismo costo teórico. Midieron el error L2 relativo —el tamaño relativo de la diferencia entre las salidas por fila de la atención aproximada y la densa— en llamadas capturadas de dos modelos de video.
La atención dispersa funcionó mejor en filas con masa de atención concentrada; la combinación, en filas intermedias; y la atención de baja precisión, en filas con la masa más repartida. Por eso, distintas filas favorecen distintas distribuciones de cálculo.
- Enrutamiento según el error estimado
El enrutador de Triage estima la masa de cada bloque y el error que habría al omitirlo o calcularlo con baja precisión, a partir de estadísticas de bloques. Asigna las opciones de omitir, calcular rápidamente o refinar según si la reducción de error estimada justifica el cálculo adicional.
Después, un núcleo fusionado ejecuta las opciones en conjunto. Estas estimaciones hacen que el enrutamiento requiera poco cálculo, pero solo aproximan el error: no lo miden ni certifican con exactitud.
- Velocidad y fidelidad en las pruebas
En cinco pruebas de extremo a extremo, los investigadores compararon la latencia de las solicitudes con FlashAttention-2 denso y la fidelidad de los videos con la de videos generados mediante cálculo denso. En cada configuración hubo una opción de Triage que fue más rápida que todos los métodos de referencia evaluados que no requieren entrenamiento y obtuvo un PSNR (relación señal-ruido máxima) superior al del método de referencia con el PSNR más alto.
El PSNR compara el video generado con el video denso; un valor mayor indica una semejanza más estrecha. En una repetición separada de llamadas capturadas de dos modelos, añadir el refinamiento seleccionado por el enrutador redujo el menor error L2 relativo, lo que respalda la utilidad de esa opción en las llamadas probadas.
Detalles
- Autores del paper original
- Yeonjae Kim, Omin Kwon, Seong Hoon Seo, Jae W. Lee
- Enviado a arXiv
- Licencia
- arXiv non-exclusive