Triage adapte le calcul de l’attention vidéo à chaque tuile
Triage: Skip, Skim, or Refine Attention Tiles in Video Diffusion Transformers · arXiv:2610.35706
En termes simples
Les modèles de diffusion vidéo utilisent l’attention pour relier de nombreux éléments visuels, ce qui peut demander beaucoup de calcul. Triage est une méthode sans entraînement qui décide, tuile par tuile, s’il faut omettre un calcul, en faire une version rapide à 4 bits ou ajouter une correction pour gagner en précision.
Lors de tests sur quatre modèles vidéo et cinq configurations, une configuration Triage testée dans chaque cas s’est exécutée plus vite que les méthodes évaluées et a produit des vidéos au PSNR (rapport signal sur bruit de crête) supérieur à celui de la méthode de référence la plus fidèle.
Le PSNR compare chaque vidéo générée à une vidéo de référence calculée en dense ; une valeur plus élevée signifie une ressemblance plus étroite. Ces résultats concernent les modèles et les GPU Blackwell testés.
La recherche
Les transformers de diffusion vidéo consacrent beaucoup de calcul à l’attention entre de nombreux éléments visuels.
Les approches existantes peuvent omettre des tuiles, réduire la précision ou combiner ces méthodes, mais elles n’adaptent pas la précision de chaque tuile conservée. La question est de savoir si l’attention peut économiser du calcul tout en préservant les calculs les plus précis pour les tuiles où une approximation aurait le plus d’effet.
Triage choisit pour chaque tuile d’attention vidéo de l’omettre, d’utiliser un calcul à faible précision ou de la corriger lorsque la réduction d’erreur estimée justifie le travail supplémentaire.
Les auteurs se demandent si le calcul de l’attention vidéo peut être réduit sans perdre en fidélité là où elle compte.
Triage répond en estimant l’erreur de chaque tuile selon plusieurs niveaux de calcul, puis en consacrant du travail supplémentaire uniquement lorsque la réduction d’erreur prévue le justifie.
Dans cinq configurations, les chercheurs ont trouvé une configuration Triage testée plus rapide que chacune des méthodes de référence sans entraînement évaluées et dont le PSNR (rapport signal sur bruit de crête) dépassait celui de la méthode de référence au PSNR le plus élevé, en comparaison avec des vidéos produites en calcul dense.
Le PSNR compare chaque vidéo générée à la référence dense ; une valeur plus élevée indique une ressemblance plus étroite. Le résultat étaye cette allocation adaptative pour les modèles et le matériel testés.
Les estimations d’erreur du routeur reposent sur des hypothèses simplificatrices : ce ne sont ni des erreurs exactes ni des bornes supérieures certifiées.
Les résultats de bout en bout portent sur cinq configurations exécutées sur un seul GPU Blackwell à la fois ; certaines étapes et opérations hors attention restent en calcul dense.
Ce que montrent les preuves
- Un choix pour chaque tuile
Triage est une méthode d’attention sans entraînement pour les transformers de diffusion vidéo, des modèles qui génèrent des vidéos étape par étape. Elle s’attaque à un compromis concret dans le calcul de l’attention : omettre des calculs économise du travail, mais peut faire perdre de l’information ; utiliser partout une faible précision peut laisser des erreurs dans des tuiles importantes.
Les auteurs se demandent si le calcul peut plutôt être adapté à l’importance probable de chaque tuile.
- Des lignes aux besoins différents
Pour vérifier pourquoi une allocation fixe peut être insuffisante, les chercheurs ont comparé l’attention creuse, à faible précision et combinée, à coût de calcul modélisé identique. Sur des appels enregistrés de deux modèles vidéo, ils ont mesuré l’erreur L2 relative, c’est-à-dire l’écart relatif entre les sorties d’une ligne d’attention approximative et celles d’une ligne calculée en dense.
L’attention creuse fonctionnait le mieux pour les lignes où le poids de l’attention était concentré, la méthode combinée pour les lignes intermédiaires, et l’attention à faible précision pour les lignes où ce poids était réparti. Les lignes ne favorisent donc pas toutes la même allocation.
- Un routage fondé sur l’erreur estimée
Le routeur de Triage estime, à partir de statistiques de blocs, le poids de chaque tuile et l’erreur associée à son omission ou à un calcul à faible précision. Il choisit de l’omettre, de la calculer rapidement ou de l’affiner selon que la réduction d’erreur estimée justifie ou non le calcul supplémentaire.
Un noyau fusionné exécute ensuite ces choix ensemble. Ces estimations rendent le routage peu coûteux, mais elles n’évaluent ni ne certifient l’erreur exacte.
- Vitesse et fidélité mesurées
Dans cinq configurations de bout en bout, les chercheurs ont comparé la latence des requêtes à celle de FlashAttention-2 en calcul dense, et la fidélité des vidéos à celle des vidéos produites en calcul dense. Dans chaque configuration, une configuration Triage testée était plus rapide que toutes les méthodes de référence sans entraînement évaluées et avait un PSNR (rapport signal sur bruit de crête) supérieur à celui de la méthode de référence au PSNR le plus élevé.
Le PSNR compare la vidéo générée à celle produite en calcul dense ; une valeur plus élevée indique une ressemblance plus étroite. Lors d’un rejeu distinct d’appels enregistrés de deux modèles, l’ajout de l’affinage choisi par le routeur a réduit l’erreur L2 relative la plus faible, ce qui étaye le rôle de ce niveau pour les appels testés.
Détails
- Auteurs de l’article original
- Yeonjae Kim, Omin Kwon, Seong Hoon Seo, Jae W. Lee
- Soumis à arXiv
- Licence
- arXiv non-exclusive