FR
Les gains du choix d’actions robotiques dépendent des candidats
How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop · arXiv:2610.37196
En termes simples
Un modèle d’action du monde (WAM) propose une séquence d’actions pour un robot et prédit à quoi ressemblera la scène ensuite. L’article demande si choisir la meilleure de plusieurs séquences proposées aide vraiment, ou si cette séquence semblait meilleure uniquement grâce au hasard des événements qui ont suivi.
Les auteurs rejouent chaque candidat plusieurs fois à partir du même état simulé. Ils font leur choix à partir de certains résultats, puis vérifient ce choix sur une nouvelle exécution.
Dans trois tâches de RoboCasa, cette vérification indépendante n’a conservé qu’une petite part du gain suggéré par le choix du meilleur résultat obtenu en une seule exécution.
La recherche
Lorsqu’un modèle robotique envisage plusieurs séquences d’actions, celle qui donne le meilleur résultat observé est-elle vraiment meilleure de façon fiable, ou a-t-elle simplement bénéficié du hasard des événements qui ont suivi ?
La réponse compte pour mesurer dans quelle mesure le choix entre plusieurs candidats peut améliorer un modèle donné.
Les auteurs présentent HeadroomBench, un protocole contrefactuel et un jeu de données ramifié qui mesure quels candidats d’action robotique restent meilleurs lorsque les événements ultérieurs varient.
Le protocole rétablit le même état simulé pour chaque candidat, répète la continuation de la politique et sélectionne les candidats à partir de résultats distincts de ceux qui serviront à les évaluer.
Il vérifie ainsi si l’action apparemment meilleure reste supérieure au-delà de l’exécution particulière qui l’a fait paraître la meilleure.
Dans trois tâches de RoboCasa, un oracle utilisant trois résultats par candidat n’a conservé que 9% du gain obtenu avec une seule continuation, lorsqu’il a été évalué sur un nouveau résultat.
Cela suggère qu’une grande partie du gain apparent provenait du hasard des continuations, même si l’estimation reste incertaine.
Les résultats du sélecteur proviennent de tâches simulées de LIBERO-Plus et ne permettent pas d’établir ses performances sur des robots physiques ni dans d’autres contextes. Le gain sur les tâches mises à l’écart était positif pour 30 des 40 tâches testées, et non pour toutes.
Ce que montrent les preuves
- Que peut vraiment apporter la sélection ?
L’article présente HeadroomBench, un protocole contrefactuel et un jeu de données ramifié pour les modèles d’action du monde (WAM), qui produisent des séquences d’actions pour des robots et en prédisent les conséquences visuelles.
Il s’attaque à un problème de base du choix entre plusieurs actions candidates : celle qui obtient le meilleur résultat observé peut avoir profité du hasard dans les actions ultérieures. Le protocole mesure l’avantage qui subsiste une fois que l’aléa des événements ultérieurs est dissocié du choix.
- Une vérification indépendante change le résultat
RoboCasa et LIBERO-Plus sont des suites de tâches robotiques simulées où la réussite indique si un épisode permet d’accomplir la tâche. Lors d’un diagnostic portant sur trois tâches de RoboCasa, le meilleur de 16 candidats de Cosmos Policy semblait faire passer la réussite de 46.1% à 58.3% sur 84 points de décision.
Pourtant, un oracle qui sélectionnait un candidat à partir de trois résultats et était évalué sur une nouvelle continuation n’a conservé que 9% de ce gain apparent. Son intervalle de confiance était large et comprenait zéro ; l’estimation ponctuelle est donc incertaine.
- Certaines options se distinguent mieux
Les chercheurs ont ensuite comparé les candidats échantillonnés directement par une politique à des options structurées, créées en décalant sa séquence d’actions selon les axes du robot. Pour les quatre WAM et les conditions testées dans RoboCasa et LIBERO-Plus, au plus 22% du gain apparent des échantillons natifs a subsisté lors de l’évaluation sur données mises à l’écart, contre 67–95% pour les perturbations structurées.
Ces pourcentages représentent la part du gain obtenu avec une seule continuation, et non une hausse de la réussite aux tâches. Dans les deux modèles testés qui imaginaient les conséquences des actions, ces futurs imaginés classaient aussi les résultats des candidats à peu près aussi bien que les futurs réels.
- Un sélecteur transforme l’avantage en gains
Pour exploiter l’avantage mesuré, les auteurs ont créé un sélecteur qui prédit quand les actions de la politique risquent d’échouer, puis classe des solutions de rechange uniquement dans ce cas. Sur des épisodes réservés parmi les tâches d’entraînement de Cosmos Policy dans la simulation LIBERO-Plus, le sélecteur a fait passer la réussite en boucle fermée de 76.9% à 81.6%.
Lorsqu’il était entraîné sans les tâches de test, la réussite sur ces tâches mises à l’écart est passée de 62.6% à 69.8%. Le gain moyen lors du transfert était positif, bien que 10 des 40 tâches n’aient pas montré de gain positif.
Détails
- Auteurs de l’article original
- Haojia Gao, Yue Cao, Yumin Liu, Haohua Que, Mingkai Liu
- Soumis à arXiv
- Licence
- arXiv non-exclusive