Chiosa
AI & Agents

Trace2World reconstruit des applications dans un navigateur à partir de traces

2 min
Mis à jour

En termes simples

Trace2World transforme des enregistrements d’utilisation d’applications réelles en versions de navigateur réinitialisables, pour entraîner des agents logiciels. La méthode combine plusieurs traces afin d’estimer les pages communes, l’état de l’application, les données et les situations où une action peut avoir des effets différents.

Les comportements que les traces laissent ambigus ne sont pas intégrés comme des faits établis. Après la construction de l’application dans le navigateur, un vérificateur indépendant rejoue les parcours enregistrés et signale les écarts à corriger.

Sur 200 parcours issus de dix applications, 91,1 % ont réussi les six contrôles, contre 59,8 % avec un outil de construction local à chaque tâche.

La recherche

Des enregistrements partiels de l’utilisation d’une application peuvent-ils suffire à créer un environnement d’entraînement qui respecte le comportement observé de l’application, plutôt que de simplement atteindre le même écran final ?

Un parcours peut aboutir au bon écran tout en produisant un changement d’état que l’application réelle ne ferait pas.

Trace2World transforme des traces d’applications réelles en environnements de navigateur réinitialisables : il concilie d’abord les comportements communs, puis les compile et les vérifie en rejouant les parcours source.

Trace2World combine les traces dans un modèle commun de l’application, relié aux éléments source, avant de compiler un environnement dans un navigateur.

Un vérificateur rejoue les parcours d’origine par rapport à ce modèle figé et compare les écrans, l’état, les effets des actions, les résultats et les données ; les réparations du paquet ne peuvent pas modifier le modèle.

Sur les mêmes 200 parcours issus de dix applications, 91,1 % ont réussi les six contrôles, contre 59,8 % avec un outil de construction local à chaque tâche. Comme tous les contrôles doivent réussir, la mesure porte sur la préservation des parcours, et pas seulement sur l’atteinte de l’écran final.

Les résultats reposent sur des parcours enregistrés et des réimplémentations dans un navigateur d’applications mobiles.

La comparaison sur de vrais appareils porte sur les applications utilisées pour entraîner les politiques ; l’étude ne mesure pas leur transfert à des applications inédites sur de vrais appareils.

Analyse

Détails

Article suivantAgentTriage makes agent security diagnoses replayable