ES
El código ejecutable puede conservar detalles en los pies de video
CodeCap-Bench: Can Code Serve as a Good Video Caption? · arXiv:2610.37341
En palabras sencillas
Un pie de video suele describir con palabras lo que ocurre. Este artículo pregunta si el código puede representar detalles como dónde están los objetos, cómo se mueven y cuándo cambian.
Los autores crearon CodeCap-Bench, una colección de videos 2D estructurados para probar esta idea. Los modelos escriben código que se convierte de nuevo en video y se compara con el original.
En una prueba con 100 videos seleccionados, un modelo que responde preguntas acertó más al recibir videos creados a partir de pies de video en código que al recibir pies de video en lenguaje natural.
La investigación
¿Puede un pie de video conservar dónde están los objetos, cómo se mueven y cómo cambian a la vez sin recurrir a una prosa larga o potencialmente ambigua?
El artículo examina si el código ejecutable puede expresar esos detalles de una forma que permita renderizar un video y compararlo con el original.
Los autores presentan CodeCap-Bench, una colección de pruebas que compara videos renderizados desde pies de video en código con videos 2D estructurados de referencia.
Los autores comparan pies de video en código con pies de video en lenguaje natural para evaluar si el código puede conservar información de un video para usarla después. En 100 videos seleccionados con preguntas anotadas, Gemini-3.8-flash respondió a partir de videos renderizados desde pies de video en código de Opus-5, de pies de video de Opus-5 en texto y de los videos originales. La precisión es la proporción de respuestas que coincide con las respuestas proporcionadas.
Los videos renderizados desde código obtuvieron una precisión del 83.02%, frente al 72.64% de los pies de video en texto y al 83.96% de los originales. En otra comparación de reconstrucción, el renderizado del código también obtuvo puntuaciones más altas en apariencia, movimiento y estructura de fotogramas clave.
En conjunto, estos resultados respaldan la interpretación de los autores de que el código puede conservar información visual útil en las configuraciones evaluadas.
Estos resultados proceden de videos 2D estructurados seleccionados y de las configuraciones de evaluación específicas descritas.
El benchmark excluye videos dominados por puntos de vista 3D complejos, texturas detalladas o movimiento denso a nivel de píxel, por lo que los resultados no establecen cómo funcionan los pies de video en código con esos tipos de video.
Qué muestran las pruebas
- Por qué probar pies de video en código
CodeCap-Bench es una colección de pruebas para evaluar si los modelos de lenguaje multimodales pueden describir videos 2D estructurados con código ejecutable. El artículo aborda una dificultad concreta: describir con palabras la disposición de los elementos, sus movimientos y los cambios coordinados puede exigir textos largos y potencialmente ambiguos.
En la prueba, un modelo escribe código que especifica los elementos visuales y cómo cambian con el tiempo; un motor de renderizado convierte el código en un video que se compara con la referencia.
- Qué significa la fidelidad
El benchmark evalúa más que si el código se ejecuta. Compara el video renderizado con la referencia en cuanto a similitud visual general, ubicación y tiempo de aparición de los objetos, y conservación de los detalles anotados.
Esta distinción importa porque un video renderizado correctamente aún puede omitir o representar mal lo que muestra la referencia. Las anotaciones revisadas por personas señalan puntos focales y objetos para que las comparaciones evalúen tanto el contenido estático como los cambios a lo largo del tiempo.
- El movimiento sigue siendo más difícil
Las mediciones revelan una dificultad concreta: en las configuraciones evaluadas, los detalles dinámicos obtuvieron puntuaciones inferiores a los estáticos. Con GPT-6-astra y Codex en el nivel medio de esfuerzo de razonamiento, la retención media fue de 68.61 sobre 100 para los detalles dinámicos y de 80.72 para los estáticos.
Esta comparación mantiene fijo el modelo y el entorno de ejecución mientras compara los dos tipos de punto focal. Ilustra la brecha en las dinámicas temporales sin dar a entender que todos los modelos obtengan las mismas puntuaciones.
- Las preguntas ponen a prueba los detalles conservados
Los autores probaron si los pies de video en código conservan información útil para responder preguntas. En 100 videos seleccionados con preguntas anotadas, Gemini-3.8-flash obtuvo una precisión del 83.02% al responder a partir de videos renderizados desde pies de video en código de Opus-5, frente al 72.64% a partir de pies de video de Opus-5 en lenguaje natural.
La precisión es la proporción de respuestas que coincide con las respuestas proporcionadas. Las respuestas basadas en los videos originales alcanzaron el 83.96%, como referencia para el mismo modelo de respuesta.
- La reconstrucción aporta más evidencia
Otra comparación de reconstrucción midió la apariencia, los patrones de movimiento y la estructura de los fotogramas clave. Para Opus-5, el renderizado directo de los pies de video en código obtuvo puntuaciones más altas en las tres medidas que los videos generados con Seedance-2.5 a partir de sus pies de video en lenguaje natural.
La comparación respalda la interpretación de los autores de que el código ejecutable puede conservar información visual útil en estas configuraciones evaluadas. Como los dos tipos de pie de video usaron métodos distintos para producir los videos, no establece una ventaja universal de los pies de video en código.
Detalles
- Autores del paper original
- Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo
- Enviado a arXiv
- Licencia
- CC BY 4.0