ES
Un simulador prueba asistentes cuyas indicaciones cambian lo que ocurre
InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants · arXiv:2610.33966
En palabras sencillas
Un asistente puede necesitar cambiar sus indicaciones cuando una persona actúa y ve cosas nuevas. Este artículo presenta un simulador en el que un asistente da indicaciones a una persona simulada, que actúa y luego recibe una nueva vista de la escena.
Un conjunto de pruebas complementario comprueba si las tareas se completan realmente en el simulador. Entre los 12 modelos de asistente evaluados, el mejor completó el 41.7% de 120 tareas; cada uno de los otros modelos completó el 33.3% o menos. Son resultados de un simulador en el que una persona simulada sigue las instrucciones.
La investigación
¿Puede un asistente seguir ayudando cuando sus indicaciones cambian lo que una persona hace y ve, turno a turno? Las pruebas con vídeos fijos no pueden responderlo porque la grabación no cambia después de una respuesta, mientras que los estudios con personas reales son costosos de ampliar. El artículo crea una forma simulada de evaluar esta interacción cambiante.
InteractiveWorld simula acciones humanas guiadas por indicaciones y InteractiveBench mide si los asistentes completan tareas de varios turnos en ese mundo cambiante.
InteractiveBench evalúa si un asistente puede guiar a una persona simulada cuando cada indicación cambia lo que ocurre después. El evaluador comprobó la finalización de las tareas a partir del estado final del simulador, con Gemini 3.1 Pro como agente humano.
Claude Fable 5.1 completó el 41.7% de las tareas, la media más alta entre 12 modelos; cada uno de los otros modelos completó el 33.3% o menos.
En el caso de Fable 5.1, la tasa fue del 85% en tareas de Decisión, pero del 20% en Orientación y del 25% en Planificación, con 20 tareas en cada categoría. Esta diferencia muestra por qué una puntuación general no basta para describir el rendimiento en distintos tipos de tareas.
Estos resultados describen episodios simulados en los que Gemini 3.1 Pro actúa como agente humano. Una comparación preliminar con participantes humanos dentro del simulador no demuestra un rendimiento equivalente ni muestra cómo funcionan los asistentes en entornos físicos.
Qué muestran las pruebas
- Evaluar ayuda que cambia lo que ocurre
InteractiveBench es un conjunto de pruebas para modelos de lenguaje multimodales que actúan como asistentes desde la perspectiva en primera persona dentro de un entorno simulado.
Evalúa si un asistente puede guiar a una persona simulada en tareas cambiantes de varios turnos; una tarea cuenta como superada cuando se cumplen todos los objetivos requeridos, según el estado final del simulador. Así aborda una limitación de las pruebas con vídeos fijos: la respuesta del asistente no puede cambiar lo que la persona ve o hace después.
- La media oculta diferencias entre tareas
El evaluador probó 12 modelos de asistente con Gemini 3.1 Pro como agente humano simulado fijo.
Claude Fable 5.1 obtuvo la mayor tasa media de éxito y completó el 41.7% de sus 120 tareas; cada uno de los otros modelos completó el 33.3% o menos. La media varió según el tipo de tarea: Fable 5.1 superó el 85% de las tareas de Decisión, pero el 20% de las de Orientación y el 25% de las de Planificación, con 20 tareas en cada categoría.
- Rastrear el primer error
Para entender qué falló, los investigadores revisaron episodios fallidos válidos y etiquetaron el primer error que contribuyó de forma significativa a cada fallo. En el conjunto de modelos, los errores de percepción visual y de memoria representaron entre el 70.4% y el 85.7% de los primeros errores en episodios fallidos atribuibles al modelo.
Este denominador excluye las tareas completadas y los fallos de infraestructura o del simulador; el intervalo describe la composición de los fallos, no la proporción de todas las tareas que fallaron por esos motivos.
- Comprobar el diseño de tareas y la memoria
Dos comprobaciones ayudan a interpretar los resultados. Bajo el protocolo descrito, el mismo agente humano simulado superó el 100% de las tareas con un asistente oráculo y el 0% sin ayuda; esto muestra que las tareas podían completarse con orientación y que ese agente no las completó sin ayuda.
En una comparación aparte, añadir una entrada de memoria acumulativa elevó la tasa de éxito entre 5 y 15 puntos porcentuales para tres modelos en tareas de Prevención y Búsqueda, pero los efectos fueron dispares en otras categorías.
- Hasta dónde llega la evidencia
Los resultados describen un simulador en el que un agente humano controlado por un modelo sigue las indicaciones del asistente. Los autores también informan de una comparación preliminar con participantes humanos que actuaban como ejecutores dentro del simulador, pero esta utilizó las mismas tareas y no fue una prueba estadística de equivalencia.
Por tanto, las puntuaciones caracterizan las interacciones simuladas evaluadas; no establecen cómo funcionan los asistentes con personas reales en entornos físicos.
Detalles
- Autores del paper original
- Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu
- Enviado a arXiv
- Licencia
- arXiv non-exclusive