OpenGCUA permite que agentes informáticos coordinen acciones de pantalla y shell mediante código

Cuando los sistemas de frontera para usar computadoras mantienen en privado sus instrucciones, herramientas para dispositivos y registros de acciones, a los investigadores les cuesta reproducir su comportamiento y comparar diseños.

¿Qué decisiones ayudan a un agente a completar tareas informáticas variadas, y se pueden estudiar con un sistema abierto?

OpenGCUA permite que un modelo combine operaciones de pantalla y shell en programas ejecutables y evalúa ese diseño con modelos existentes para usar computadoras.

La pregunta principal es si se pueden estudiar diseños más abiertos y flexibles para usar computadoras cuando no se conocen detalles clave de los sistemas de frontera.

OpenGCUA presenta un diseño de agente en el que un modelo elige qué observar, cómo actuar y cómo organizar su trabajo, y lo evalúa con modelos existentes.

En OSWorld-v2, una prueba de tareas informáticas, los evaluadores asignan puntuaciones de finalización parcial. En el subconjunto sin conexión de 82 tareas, el diseño completo obtiene una puntuación media 19.6 puntos más alta que las acciones agrupadas que solo usan la pantalla, al comparar ocho modelos.

Los investigadores promedian las puntuaciones de las tareas dentro de cada modelo y luego asignan el mismo peso a todos; el resultado respalda una diferencia entre estas configuraciones, pero no explica qué componente por sí solo la produjo.

La comparación principal enfrenta el diseño completo de OpenGCUA con acciones agrupadas que solo usan la pantalla, por lo que no permite determinar cuánto aportó cada cambio del diseño. Los resultados en dispositivos reales abarcan cuatro tareas de macOS y una ejecución seleccionada por tarea; los autores dicen que describen esas configuraciones, no que establezcan una clasificación general de modelos.