Triage adatta il calcolo dell’attenzione video a ogni tile
Triage: Skip, Skim, or Refine Attention Tiles in Video Diffusion Transformers · arXiv:2610.35706
In parole semplici
I modelli di diffusione video usano l’attenzione per collegare molti token visivi, un calcolo che può essere costoso. Triage è un metodo senza addestramento che decide, tile per tile, se saltare un calcolo, eseguirne una versione rapida a 4 bit o aggiungere una correzione per migliorarne l’accuratezza.
Nei test su quattro modelli video in cinque configurazioni, in ciascun caso di test una delle impostazioni di Triage provate è risultata più veloce delle alternative valutate e ha prodotto video con un PSNR (rapporto picco segnale-rumore) più alto rispetto all’alternativa con la maggiore fedeltà.
Il PSNR confronta ogni video generato con il riferimento prodotto con calcolo denso; valori più alti indicano una corrispondenza più stretta. Questi risultati riguardano i modelli e le GPU Blackwell testati.
La ricerca
I transformer di diffusione video dedicano una quantità considerevole di calcolo all’attenzione tra molti token visivi. Gli approcci esistenti possono saltare tile, usare una precisione inferiore o combinare le due strategie, ma non adattano la precisione di ogni tile mantenuto.
La domanda è se l’attenzione possa ridurre il lavoro mantenendo calcoli più accurati nei tile in cui l’approssimazione inciderebbe di più.
Triage assegna ogni tile di attenzione video a skip, calcolo a bassa precisione o correzione quando la riduzione stimata dell’errore giustifica il lavoro aggiuntivo.
Gli autori chiedono se l’attenzione video possa richiedere meno calcolo senza perdere fedeltà dove conta. Triage risponde stimando l’errore di ogni tile con diversi livelli di calcolo e aggiungendo lavoro solo quando la riduzione prevista dell’errore lo giustifica.
In cinque configurazioni, i ricercatori hanno trovato un’impostazione di Triage testata che era più veloce di ciascun metodo di confronto senza addestramento valutato e aveva un PSNR (rapporto picco segnale-rumore) più alto del metodo di confronto con il PSNR maggiore rispetto ai video generati con calcolo denso.
Il PSNR confronta ogni video generato con il riferimento denso: valori più alti indicano una corrispondenza più stretta. Il risultato sostiene questa ripartizione adattiva sui modelli e sull’hardware testati.
Le stime degli errori del router dipendono da ipotesi semplificative: non sono errori esatti né limiti superiori certificati. I risultati end-to-end coprono cinque configurazioni su singole GPU Blackwell; alcuni passi e alcune operazioni esterne all’attenzione sono rimasti densi.
Cosa mostrano le prove
- Una scelta per ogni tile
Triage è un metodo di attenzione senza addestramento per i transformer di diffusione video. Affronta un compromesso pratico: saltare calcoli fa risparmiare lavoro ma può far perdere informazioni, mentre usare ovunque una precisione ridotta può introdurre errori nei tile importanti. Gli autori chiedono se il calcolo possa invece adattarsi all’importanza probabile di ciascun tile.
- Righe diverse richiedono scelte diverse
Per capire perché una ripartizione fissa potrebbe non bastare, i ricercatori hanno confrontato attenzione sparsa, a bassa precisione e combinata, a parità di costo stimato. Hanno misurato l’errore L2 relativo — la differenza tra le righe di output dell’attenzione approssimata e quelle dell’attenzione densa, rapportata a queste ultime — su chiamate acquisite da due modelli video.
L’attenzione sparsa funzionava meglio sulle righe con massa di attenzione concentrata, il metodo combinato su quelle intermedie e l’attenzione a bassa precisione sulle righe con massa dispersa. Righe diverse favoriscono quindi ripartizioni diverse.
- Assegnare il calcolo in base all’errore stimato
Il router di Triage stima la massa di ogni tile e l’errore previsto se lo si salta o lo si calcola a bassa precisione, usando statistiche dei blocchi. Assegna le opzioni skip, skim o refine in base al fatto che la riduzione stimata dell’errore giustifichi il calcolo aggiuntivo.
Un kernel fused esegue poi tutte le scelte insieme. Queste stime rendono il routing poco costoso, ma approssimano l’errore: non lo misurano né lo certificano con esattezza.
- Velocità e fedeltà nei test
Nelle cinque configurazioni end-to-end, i ricercatori hanno confrontato la latenza delle richieste con FlashAttention-2 densa e la fedeltà dei video con quella dei video generati con calcolo denso. In ogni configurazione, una delle impostazioni di Triage provate era più veloce di tutti i metodi di confronto senza addestramento valutati e aveva un PSNR (rapporto picco segnale-rumore) più alto del metodo con il PSNR maggiore.
Il PSNR confronta i video generati con quelli densi: valori più alti indicano una corrispondenza più stretta. In una riproduzione separata di chiamate acquisite da due modelli, l’aggiunta del livello refine selezionato dal router ha ridotto l’errore L2 relativo minimo, sostenendo il ruolo di quel livello nelle chiamate testate.
Dettagli
- Autori del paper originale
- Yeonjae Kim, Omin Kwon, Seong Hoon Seo, Jae W. Lee
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive