El entrenamiento ayuda a coordinar clics y código

Si un agente de escritorio puede hacer clic, escribir y ejecutar código, ¿basta con darle las tres opciones para que complete tareas? En un análisis diagnóstico, el acceso al código por sí solo no mejoró la puntuación de un modelo sin adaptar.

El estudio evalúa si entrenar con ejemplos que combinan estas acciones ayuda al agente a usarlas conjuntamente.

OS-Helix entrena a un solo agente de escritorio con ejemplos que combinan clics, escritura y código para que pueda elegir entre esas acciones dentro de una misma tarea.

Los investigadores probaron OS-Helix en 361 tareas de escritorio en Ubuntu; la tasa de éxito es la proporción media de tareas completadas. El modelo único del agente puede elegir acciones de interfaz gráfica o código.

Tras un ajuste fino supervisado con ejemplos híbridos de escritorio, logró un éxito medio del 62.75%, frente al 46.50% de un modelo híbrido de referencia Qwen3.5-27B.

La comparación comparte arquitectura base y espacio de acciones, pero no especifica el procedimiento de entrenamiento del modelo de referencia ni si ambos sistemas partieron de pesos idénticos.

El resultado muestra un éxito promedio mayor de OS-Helix en este conjunto de prueba; no establece que el entrenamiento por sí solo explique la diferencia.

La comparación principal abarca 361 tareas de escritorio en Ubuntu y excluye 8 tareas de Google Drive.

El artículo no especifica si el modelo de referencia y OS-Helix partieron de pesos de checkpoint idénticos, por lo que el resultado no permite atribuir toda la diferencia únicamente al entrenamiento.