ES
WorldPager mantiene sesiones largas de modelos del mundo dentro de los límites de memoria
WorldPager: Zero-Stall Tiered Memory for Long-Horizon World Models on a Single Consumer GPU · arXiv:2610.35529
En palabras sencillas
Los modelos interactivos del mundo conservan información de videos anteriores para que un lugar se parezca a sí mismo cuando la cámara vuelve. Esa memoria puede llenar la RAM del equipo, aunque la unidad de almacenamiento pudiera moverla entre fragmentos con suficiente rapidez.
WorldPager es un programa que distribuye esa memoria entre la memoria de la GPU —el procesador especializado en gráficos—, la RAM del equipo y una unidad SSD, y la prepara antes de que haga falta. En una sesión de MG2 de 3.000 fragmentos, generó 37,5 minutos de video sin superar el límite de 32 GiB de RAM. Fue una sola configuración y funcionó más lento que la reproducción en tiempo real.
La investigación
Un modelo interactivo del mundo necesita conservar fragmentos anteriores para que los lugares mantengan su apariencia cuando vuelve a ellos. Pero en una sola computadora de consumo, esa memoria creciente puede llenar la RAM del equipo, mientras que el propio límite posicional del modelo puede detener la generación aunque quede memoria disponible. ¿Puede un sistema mantener una sesión así dentro de esos límites?
WorldPager distribuye la memoria recuperada de un modelo del mundo entre la GPU, la RAM y NVMe, y la prepara antes de usarla para prolongar sesiones en una sola máquina.
¿Cómo puede un modelo interactivo del mundo seguir generando cuando llena la RAM del equipo y su tabla de posiciones también impone un límite?
En el equipo probado, la RAM de MG2 podía guardar 45 segundos de memoria en bf16 o 2,8 minutos en int4, y la tabla original de posiciones detenía la generación tras unos 4,3 minutos.
WorldPager prepara la memoria recuperada desde NVMe mientras se genera el fragmento anterior. Cuando se obligó a que todos los bloques recuperados vinieran de NVMe, la espera mediana se mantuvo en cero hasta 0,25 GB/s en una trayectoria de MG2, mientras que la carga bajo demanda causó pausas en todas las velocidades probadas.
Con el sistema completo activado, una sesión generó 37,5 minutos de video dentro del límite de 32 GiB de RAM del equipo.
El resultado de 37,5 minutos procede de una sola sesión en una RTX 4090, con un límite de 32 GiB de memoria del equipo y una unidad NVMe. La generación fue más lenta que la velocidad de reproducción de 16 fotogramas por segundo, y esa sesión no volvió a consultar memoria que ya se había escrito en NVMe; otras pruebas midieron esas lecturas.
El almacenamiento int4 también redujo las puntuaciones de calidad de imagen al volver a lugares tras intervalos largos.
Qué muestran las pruebas
- Dos límites frenan las sesiones
Los modelos interactivos del mundo pueden recuperar información de fragmentos de video anteriores para que los lugares revisitados mantengan su apariencia. En el equipo probado, Matrix-Game 2.0 (MG2) se topó con dos límites distintos: la RAM del equipo podía guardar 45 segundos de memoria de recuperación en bf16 o 2,8 minutos en int4, mientras que su tabla original de posiciones detenía la generación tras unos 4,3 minutos, independientemente de la memoria disponible. La pregunta es cómo prolongar una sesión dentro de esos límites.
- Un programa gestiona la memoria
WorldPager es un entorno de gestión de memoria para modelos interactivos del mundo. Decide dónde guardar las claves y los valores recuperados de fragmentos anteriores: en la memoria de la GPU, en la memoria dinámica de acceso aleatorio (DRAM) del equipo o en una unidad NVMe.
La regla de recuperación del modelo sigue eligiendo qué fragmentos pasados usar; WorldPager gestiona dónde se guardan y cuándo se trasladan. También gestiona las posiciones durante la generación para prolongarla más allá del límite posicional original de MG2.
- Las transferencias caben durante el cálculo
El diseño depende de si mover memoria retrasa la generación de fragmentos. Calcular uno de MG2 tardaba unos 1,2 segundos, y una prueba con cálculo real no midió pausas cuando las transferencias con doble búfer —que alternan entre dos espacios de memoria mientras continúa el cálculo— movían volúmenes de hasta 1,46 GB.
Esto respalda el diagnóstico de los investigadores: en la carga probada, se agota la capacidad total de memoria antes de que la velocidad de transferencia se convierta en el límite.
- La precarga tiene un límite
Para comprobar si preparar la memoria recuperada antes de usarla ayuda, los investigadores forzaron que todos los bloques recuperados vinieran de NVMe y compararon WorldPager con la carga bajo demanda, que copia los bloques al empezar el siguiente fragmento.
En la trayectoria a_yaw, la espera mediana de WorldPager siguió siendo cero hasta una velocidad de lectura de 0,25 GB/s, mientras que la carga bajo demanda causó pausas en todas las velocidades probadas. Por debajo de ese umbral, la precarga podía causar pausas y sus esperas máximas podían superar a la comparación en b1_ws.
- Una sesión larga con contrapartidas
Con el sistema completo activado, una sesión de MG2 generó 37,5 minutos de video sin superar el límite de 32 GiB de RAM del equipo. El resultado muestra generación continua en la configuración probada, pero no reproducción en tiempo real ni una prueba de lectura de fragmentos previamente trasladados a la unidad.
Otras comparaciones hallaron que el almacenamiento int4 mantuvo la consistencia en las revisitas probadas tras intervalos largos, pero obtuvo puntuaciones de calidad de imagen más bajas; un segundo modelo aportó únicamente mediciones del sistema.
Detalles
- Autores del paper original
- Bingnan Liu, Ruini Xue
- Enviado a arXiv
- Licencia
- arXiv non-exclusive