I modelli robotici migliorano quando le azioni spiegano l’effetto desiderato

I foundation model robotici esistenti agiscono già sulla base di dimostrazioni, ma queste mostrano di solito le azioni senza il ragionamento che le ha guidate.

Non è ancora chiaro se un modello possa controllare meglio il robot usando gli stessi dati quando impara a collegare la scena attuale, l’effetto desiderato e l’azione che dovrebbe produrlo.

Arc trasforma dimostrazioni robotiche esistenti in tracce causali ancorate alle azioni e adatta modelli preaddestrati a usarle per il controllo, senza addestramento specifico sui compiti.

Arc aggiunge automaticamente tracce causali alle dimostrazioni esistenti, registrando lo stato rilevante, l’effetto desiderato, l’azione, ciò che va evitato e il completamento. I modelli preaddestrati usano poi queste tracce mantenendo i propri obiettivi di predizione originali.

Nelle valutazioni senza addestramento specifico sui compiti, Pi_0.5 e Cosmos3-Nano-Policy adattati hanno superato le rispettive versioni non modificate sia nei compiti generali di manipolazione sia in quelli incentrati sul ragionamento.

Questo risultato, osservato con entrambi i modelli, supporta l’utilità della ricetta; il confronto con sottocompiti espliciti suggerisce che una scomposizione a grana grossa del compito da sola non basta.

Le evidenze riguardano soltanto i compiti di simulazione riportati e 28 compiti fisici valutati a coppie. Inoltre, il controllo con sottocompiti espliciti cambia sia l’output esterno sia il fatto che la policy sia stata adattata.

La spiegazione degli autori, secondo cui un’unica rappresentazione dallo stato all’effetto supporta la sequenza delle azioni e il recupero dagli errori, è un’interpretazione, non una prova causale.