FR
WorldPager prolonge les sessions de modèles de monde dans les limites mémoire
WorldPager: Zero-Stall Tiered Memory for Long-Horizon World Models on a Single Consumer GPU · arXiv:2610.35529
En termes simples
Les modèles de mondes interactifs gardent des informations des séquences vidéo précédentes pour qu’un lieu ait l’air familier lorsque la caméra y revient. Cette mémoire peut remplir la mémoire vive de l’ordinateur, même si le disque est assez rapide pour déplacer les données entre les séquences.
WorldPager est un logiciel qui répartit cette mémoire entre celle du GPU, la mémoire vive de l’ordinateur et un SSD, puis la prépare avant qu’elle soit nécessaire. Lors d’une session MG2 de 3 000 séquences, il a généré 37,5 minutes de vidéo sans dépasser son budget de mémoire hôte de 32 GiB.
Cela correspond à une seule configuration, et la génération était plus lente que la lecture en temps réel.
La recherche
Un modèle de monde interactif doit conserver les séquences précédentes pour que les lieux restent cohérents lorsqu’on y revient. Pourtant, sur un seul ordinateur grand public, cette mémoire peut remplir la mémoire vive, tandis que la limite de position propre au modèle peut arrêter la génération même s’il reste de la mémoire disponible. Un système peut-il prolonger une session malgré ces limites ?
WorldPager répartit la mémoire récupérée d’un modèle de monde entre le GPU, la mémoire hôte et le NVMe, et la prépare à l’avance pour prolonger les sessions sur une seule machine.
Comment un modèle de monde interactif peut-il continuer à générer lorsque sa mémoire remplit la mémoire vive et que sa table de positions impose aussi une limite ?
Sur la machine testée, la mémoire hôte de MG2 pouvait contenir 45 secondes de données en bf16 ou 2,8 minutes en Int4, et sa table de positions d’origine arrêtait la génération après environ 4,3 minutes.
WorldPager prépare les données récupérées depuis le NVMe pendant la génération de la séquence précédente.
Lorsque les chercheurs ont forcé la récupération de tous les blocs depuis le NVMe, l’attente médiane est restée nulle jusqu’à 0,25 GB/s sur une trajectoire MG2, tandis que le chargement à la demande a bloqué à chaque bande passante testée. Avec l’ensemble du système activé, une session a généré 37,5 minutes de vidéo dans le budget de mémoire hôte de 32 GiB.
Le résultat de 37,5 minutes provient d’une seule session sur une seule RTX 4090, avec un budget de mémoire hôte de 32 GiB et un seul disque NVMe. La génération est restée sous le rythme de lecture de 16 images par seconde.
Cette session n’a pas relu de mémoire déjà écrite sur le NVMe ; des tests distincts ont mesuré ces lectures. Le stockage en Int4 a aussi réduit les scores de qualité d’image lors des retours après de longs intervalles.
Ce que montrent les preuves
- Deux limites interrompent les sessions
Les modèles de mondes interactifs peuvent récupérer des informations de séquences vidéo précédentes pour que les lieux aient l’air cohérents lorsqu’on y revient. Sur la machine testée, Matrix-Game 2.0 (MG2) rencontrait deux limites distinctes : la mémoire hôte pouvait contenir 45 secondes de données de récupération en bf16 ou 2,8 minutes en Int4, tandis que sa table de positions d’origine arrêtait la génération après environ 4,3 minutes, quelle que soit la capacité mémoire. La question est de savoir comment prolonger une session malgré ces contraintes.
- Un système répartit la mémoire
WorldPager est un système de gestion de mémoire pour les modèles de mondes interactifs. Il gère l’emplacement des clés et valeurs récupérées des séquences précédentes : mémoire du GPU, mémoire vive dynamique (DRAM) de l’ordinateur, ou disque NVMe.
La règle de récupération du modèle continue de choisir les séquences passées à utiliser ; WorldPager gère leur stockage et le moment de leur déplacement. Il gère aussi les positions pendant l’inférence, c’est-à-dire la génération, afin de dépasser l’horizon de position initial de MG2.
- Les transferts tiennent dans le temps de calcul
La méthode dépend de la possibilité de déplacer la mémoire sans retarder la génération des séquences. Le calcul d’une séquence MG2 prenait environ 1,2 seconde et, dans un test avec calcul réel, les transferts en double tampon de volumes allant jusqu’à 1,46 GB n’ont provoqué aucun blocage mesuré.
Ces observations appuient le diagnostic des chercheurs : dans la tâche testée, la capacité mémoire totale s’épuise avant que la bande passante des transferts devienne le facteur limitant.
- La préparation anticipée a une limite
Pour déterminer si préparer la mémoire récupérée avant son utilisation aide, les chercheurs ont forcé le chargement de tous les blocs récupérés depuis le NVMe et comparé WorldPager au chargement à la demande, qui copie les blocs au début de la séquence suivante.
Sur la trajectoire a_yaw, l’attente médiane de WorldPager est restée nulle jusqu’à 0,25 GB/s de bande passante de lecture, tandis que le chargement à la demande a bloqué à chaque bande passante testée. Sous le seuil, la préparation anticipée pouvait bloquer et, sur b1_ws, ses attentes les plus longues pouvaient dépasser celles de la comparaison.
- Une longue session avec des compromis
Avec l’ensemble du système activé, une session MG2 a généré 37,5 minutes de vidéo tout en respectant le budget de mémoire hôte de 32 GiB. Ce résultat montre que la génération s’est poursuivie dans la configuration testée ; il ne démontre ni une lecture en temps réel ni la relecture de séquences déjà transférées.
Des comparaisons distinctes ont révélé que le stockage Int4 conservait la cohérence lors des retours après les longs intervalles testés, mais donnait des scores de qualité d’image plus faibles ; un second modèle n’a fourni que des mesures système.
Détails
- Auteurs de l’article original
- Bingnan Liu, Ruini Xue
- Soumis à arXiv
- Licence
- arXiv non-exclusive