Chiosa
FR
Robotics

Un modèle vidéo peut guider les actions d’un robot sans générer de vidéo

4 min
Mis à jour
#robot-learning#real-world-deployment#shared-motion-representations#patch-alignment

En termes simples

TAPESTRY est une méthode de commande de robots qui réutilise un modèle entraîné à générer des vidéos. Elle transforme chaque étape d’action du robot en un élément de la taille d’un patch, que le modèle vidéo sait déjà traiter, puis entraîne le même modèle sur des vidéos et des démonstrations robotiques.

Lorsqu’il est utilisé, le modèle reçoit une image de caméra et un objectif formulé en langage, puis produit directement une courte séquence d’actions, sans générer de vidéo. Dans quatre groupes de tâches simulées dont les exemples d’évaluation comportaient des vidéos sans étiquettes d’action, son taux moyen de réussite était de 76 %, contre 70 % pour chacune des deux méthodes fondées sur des vidéos.

La recherche

Les modèles vidéo peuvent apprendre des motifs visuels d’interactions physiques, mais un contrôleur qui génère des vidéos futures pendant le pilotage d’un robot paie le coût de produire des images qu’il n’a pas besoin d’afficher.

Un robot peut-il utiliser directement ces dynamiques visuelles préentraînées pour choisir ses prochaines actions ?

TAPESTRY partage un modèle vidéo préentraîné entre l’entraînement vidéo et celui des actions, pour transformer une image de caméra et un objectif en langage en blocs d’actions sans générer de vidéo.

Dans LIBERO, une simulation qui teste l’accomplissement de tâches robotiques, une suite disposait d’étiquettes d’action et quatre suites d’évaluation ne fournissaient que des vidéos.

TAPESTRY a obtenu un taux moyen de 76 % de tâches accomplies sur ces suites, contre 70 % pour Cosmos Policy et DreamZero.

Ces résultats étayent la génération d’actions à partir d’un modèle préentraîné sur des vidéos dans ce cadre, mais la comparaison ne permet pas d’isoler les choix de conception à l’origine de l’écart.

Les quatre suites d’évaluation comprenaient des vidéos, mais aucune étiquette d’action ; leurs taux ne sont donc pas directement comparables aux scores LIBERO standard obtenus avec une supervision complète. TAPESTRY et les méthodes de comparaison différaient aussi par leur architecture, leurs objectifs d’entraînement, leur durée d’entraînement et leur procédure d’inférence. L’écart de score ne permet donc pas d’identifier le choix de conception qui l’explique.

Ce que montrent les preuves

  • Un modèle partagé entre deux types de données

    TAPESTRY, acronyme de Tokenizing Actions as Video Patches in a Shared Transformer Policy, est une méthode de commande de robots. Elle répond à un compromis lié au transfert : générer des vidéos prédites pendant le contrôle coûte cher, tandis qu’un module d’action distinct entraîné de zéro ne peut pas utiliser directement les poids du modèle vidéo préentraîné. TAPESTRY fait plutôt passer les actions du robot par ce modèle.

  • Des actions transformées en tokens

    Chaque étape d’action du robot est projetée et normalisée en une unité de la taille d’un patch, puis traitée par la même couche qui découpe les vidéos en patches et par le même transformer. Pendant l’entraînement, ce modèle partagé apprend à débruiter des vidéos, à débruiter conjointement des vidéos et des actions sur des démonstrations robotiques, ainsi qu’à débruiter des actions seules conditionnées par l’image nette de la caméra et l’objectif en langage. À l’utilisation, seuls les tokens d’action sont produits, en une seule étape à partir du bruit.

  • Des scores sur des tâches avec vidéo seule

    LIBERO est une simulation qui teste l’accomplissement de tâches de manipulation par des robots. Des étiquettes d’action étaient disponibles uniquement pour LIBERO-90 ; quatre autres suites fournissaient des vidéos sans étiquettes d’action.

    L’évaluation par exécution de tâches rapporte un taux moyen de réussite de 76 % pour TAPESTRY et de 70 % pour Cosmos Policy et DreamZero, sur 100 tentatives par suite. L’article ne précise pas qui a évalué l’accomplissement des tâches.

  • Analyse des actions saccadées

    Pour étudier les sorties d’action saccadées, les auteurs ont mesuré les saccades à différents niveaux de bruit sur 50 blocs d’action mis de côté. Les entrées étaient créées en ajoutant du bruit à de véritables actions et restaient donc dans la distribution des données d’entraînement.

    La saccade moyenne est passée de 0,92 à 1,71 fois la plage de référence à mesure que le bruit diminuait. Dans une comparaison distincte de signaux issus des mêmes épisodes, f95 était de 0,352 Hz pour les actions et de 1,992 Hz pour les pixels vidéo. Les auteurs interprètent cet écart de fréquence comme une source de saccades.

  • Essais sur un robot réel

    Sur un véritable robot YAM à deux bras, TAPESTRY a réussi 28 tentatives sur 30 pour trois tâches entraînées, contre 15 sur 30 pour une méthode entraînée de zéro. Dans trois conditions modifiées portant sur de nouveaux placements, mouvements ou assemblages d’objets, il a accompli 10 tâches complètes sur 15, contre 4 sur 15 pour DreamZero.

    La marge globale distincte rapportée par les auteurs par rapport à DreamZero n’était pas statistiquement significative (27±11 %, p=0,07) ; chaque condition ne comptait que cinq tentatives. Dans la condition de composition d’objets, TAPESTRY a réussi les cinq tentatives, tandis que chaque autre méthode n’en a réussi aucune.

  • Une inférence plus rapide

    Le test de vitesse comparait la génération de blocs d’actions sur le même GPU RTX 5090. Le modèle TAPESTRY 2B produisait un bloc de 16 actions en 84 millisecondes ; DreamZero 5B prenait 3,7 secondes après l’ajout d’une mise en cache et du checkpointing des activations.

    L’article rapporte un écart de vitesse d’environ 44 fois, mais les modèles et les procédures d’inférence diffèrent, de sorte que le résultat n’isole pas un choix de conception.

Détails

Article originalLire l’article originalOuvrir l’original
Soumis à arXiv