ES
Una nueva prueba muestra qué les falta a los agentes que crean videos
VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation · arXiv:2610.35864
En palabras sencillas
El artículo presenta VibeVideoBench, una prueba para agentes que usan código para crear videos completos a partir de instrucciones y materiales opcionales. La prueba comprueba si se entrega el video, si muestra los detalles requeridos y cómo califican los jueces la imagen, la historia, los tiempos y el sonido.
Nueve sistemas de agentes intentaron las tareas con un límite de una hora. En el 76,3 % de las tareas, Claude Opus 5.5 no falló ninguna comprobación esencial y superó al menos una; los videos ausentes contaron como fallos. El resultado se limita a estos sistemas, estas tareas y este límite de tiempo.
La investigación
¿Pueden los agentes generales crear videos completos en los que encajen los detalles requeridos, el sonido y los tiempos? Las pruebas existentes de agentes no responden a esta pregunta: evalúan texto o resultados funcionales, mientras que un video debe juzgarse como una experiencia perceptiva.
VibeVideoBench evalúa agentes que crean videos con código mediante comprobaciones específicas de cada tarea y valoraciones de calidad, e incluye la entrega como parte del éxito.
Los autores probaron nueve sistemas completos de agentes con las mismas 239 tareas. Cada sistema funcionó de forma autónoma en su entorno nativo y con un límite de una hora.
Claude Opus 5.5 obtuvo el mayor éxito estricto: en el 76,3 % de las tareas no falló ninguna comprobación esencial y se superó al menos una; la ausencia de un video contó como fallo.
La forma de puntuar los videos ausentes también afecta las comparaciones. Cuando recibieron cero en vez de quedar excluidos, Gemini 4 Argon bajó del cuarto al séptimo puesto entre los nueve sistemas.
Esto significa que las puntuaciones de calidad de los videos entregados, por sí solas, pueden ocultar que un sistema no terminó las tareas.
Estos resultados proceden de nueve sistemas completos de agentes que funcionaron de forma autónoma en sus entornos nativos, con un límite de una hora. La comparación no separa el efecto del modelo del efecto de su entorno de ejecución. En una repetición reducida, disponer de más tiempo permitió a un sistema entregar más videos en 20 tareas; además, los jueces no detectaron retrasos de audio introducidos a propósito.
Por tanto, los hallazgos no establecen cómo rendirían los sistemas con más tiempo ni si los jueces evalúan de forma fiable todos los videos.
Qué muestran las pruebas
- Qué pregunta plantea la prueba
VibeVideoBench evalúa agentes multimodales generales que usan código para crear videos completos a partir de instrucciones y recursos opcionales. La pregunta es si pueden producir un video terminado en el que encajen el contenido, el sonido y los tiempos requeridos, en lugar de limitarse a devolver texto o un programa funcional.
Las evaluaciones existentes no habían establecido esto: un video es un resultado perceptivo que las pruebas unitarias convencionales no pueden evaluar por completo.
- Cómo se evalúan los videos
Para que las tareas pudieran evaluarse, los autores adaptaron solicitudes reales y otros materiales de origen hasta convertirlos en especificaciones autocontenidas. Estas fijan los hechos, las identidades, las etapas, los tiempos y los requisitos de audio que debe cumplir cada video, pero dejan abiertas algunas decisiones creativas.
La prueba verifica la entrega mediante programas, las pruebas requeridas mediante comprobaciones específicas de aprobado o suspenso y la calidad en cinco dimensiones mediante tres paneles independientes de jueces.
- Qué encontró la prueba principal
Nueve sistemas de agentes de seis laboratorios intentaron las 239 tareas. Cada uno funcionó de forma autónoma en su entorno nativo, con el mismo límite de una hora y en contenedores idénticos.
Claude Opus 5.5 obtuvo el mayor éxito estricto: en el 76,3 % de las tareas no falló ninguna comprobación esencial y se superó al menos una; la ausencia de un video contó como fallo. La comparación evalúa sistemas completos, por lo que no separa el rendimiento del modelo de los efectos del entorno de ejecución.
- Por qué importa la entrega
La entrega cambia la comparación entre sistemas. Cuando los videos ausentes reciben cero en vez de quedar excluidos, Gemini 4 Argon pasa del cuarto al séptimo puesto entre los nueve sistemas.
Al analizar las 224 ejecuciones sin un video reproducible, los autores atribuyeron 169 a renderizados finales que empezaron demasiado tarde, avanzaron demasiado despacio o nunca comenzaron. Estos hallazgos muestran que la puntuación de calidad de los videos entregados no basta para saber si el sistema terminó la tarea.
- Qué no resuelven los datos
Dos comprobaciones delimitan los resultados. Las preferencias humanas por videos reproducibles produjeron clasificaciones de sistemas muy parecidas a las de los jueces, pero estos no detectaron retrasos de audio introducidos a propósito; por tanto, esa concordancia no demuestra que evalúen de forma fiable todos los videos.
En un control separado de 20 tareas, GLM-5.3-Flash entregó más videos con límites de tiempo mayores. El resultado se aplica a este sistema y a este pequeño conjunto de tareas, no a todos los agentes o tareas.