L’entraînement aide les agents à combiner interface et code

Si un agent sur ordinateur peut cliquer, saisir du texte et exécuter du code, suffit-il de lui donner accès à ces trois options pour qu’il accomplisse mieux les tâches ? Dans un test diagnostique, le seul accès au code n’a pas amélioré le score d’un modèle non adapté.

L’étude vérifie si l’entraînement sur des exemples combinant ces actions aide l’agent à les utiliser ensemble.

OS-Helix entraîne un seul agent sur ordinateur avec des exemples mêlant clics, saisie de texte et code, afin qu’il puisse choisir l’une ou l’autre action au cours d’une même tâche.

Les chercheurs ont évalué OS-Helix sur 361 tâches sur ordinateur sous Ubuntu, où le taux de réussite désigne la part moyenne des tâches accomplies. Le modèle unique de l’agent peut choisir des actions dans l’interface graphique ou du code.

Après un ajustement fin supervisé sur des exemples de tâches combinant ces méthodes, il atteint un taux moyen de réussite de 62.75 %, contre 46.50 % pour une référence hybride Qwen3.5-27B.

La comparaison porte sur la même architecture de base et le même espace d’actions, mais la procédure d’entraînement de la référence et l’identité des poids initiaux ne sont pas précisées.

Le résultat montre une réussite moyenne supérieure pour OS-Helix sur cet ensemble de test ; il n’établit pas que l’entraînement explique à lui seul l’écart.

La comparaison principale porte sur 361 tâches sur ordinateur sous Ubuntu ; les 8 tâches Google Drive sont exclues. L’article ne précise pas si la référence et OS-Helix ont démarré avec des poids de modèle identiques. Le résultat ne permet donc pas d’isoler l’entraînement comme seule différence.