IT
Una mappa spaziale condivisa aiuta i robot a coordinarsi
World Dreamer v5-lite: A Multi-Robot World Action Model with One Dreamer · arXiv:2610.37518
In parole semplici
Quando lavorano insieme, i robot possono aver bisogno di usare ciò che vede un altro robot. World Dreamer v5-lite inserisce le informazioni delle telecamere in una mappa condivisa dello spazio di lavoro, poi prevede azioni distinte per ogni robot permettendo al contempo alle loro informazioni di interagire.
In una prova di simulazione multi-robot, ha ottenuto un tasso medio di successo per attività più alto del miglior metodo di confronto valutato, su tre attività. L’articolo riporta anche risultati per attività domestiche e per quattro attività con robot fisici: le evidenze riguardano quindi queste situazioni valutate.
La ricerca
Quando più robot lavorano nello stesso spazio, ciascuno può aver bisogno di informazioni visibili soltanto a un altro. Le loro inquadrature non si allineano automaticamente e i loro controlli possono essere diversi.
Come può una squadra condividere un contesto visivo utile mantenendo distinte le azioni di ogni robot?
World Dreamer v5-lite offre a ogni robot una rappresentazione spaziale condivisa dello spazio di lavoro mantenendo separate le azioni, e valuta l’approccio in simulazione e con squadre di robot fisici.
World Dreamer v5-lite combina le inquadrature calibrate delle telecamere in una rappresentazione spaziale condivisa. Ogni robot può interrogare quel contesto e scambiare informazioni con i compagni, mantenendo il proprio flusso di azioni.
Durante l’addestramento alcune inquadrature vengono nascoste, ma restano gli obiettivi d’azione di tutti i robot.
Nelle tre attività simulate di RoboFactory, i ricercatori hanno rilevato un tasso medio di successo per attività, non ponderato, del 74.0%, rispetto al 50.3% di π0.5.
Anche i risultati sulle attività domestiche e nelle prove con robot fisici mostrano un successo medio riportato più alto rispetto ai migliori metodi di confronto in quelle situazioni.
I risultati riguardano tre attività di RoboFactory, quattro attività con robot reali e 50 delle 365 attività di RoboCasa365. I confronti non stabiliscono le prestazioni su altre attività o con altre squadre di robot.
Cosa mostrano le prove
- Il problema del coordinamento
In uno spazio di lavoro condiviso, le telecamere di ogni robot riprendono solo una parte della scena e le immagini di telecamere diverse non corrispondono automaticamente agli stessi punti. Al tempo stesso, le azioni di ciascun robot dipendono da ciò che fanno i compagni.
L’articolo chiede come una squadra possa usare le osservazioni raccolte dai vari robot mantenendo controlli distinti, anche quando i robot hanno corpi e spazi di azione diversi.
- Contesto condiviso, azioni separate
World Dreamer v5-lite è un framework di manipolazione multi-robot che prevede una sequenza di azioni per ciascun robot. Usa la geometria calibrata delle telecamere per collocare le caratteristiche visive in una rappresentazione condivisa dei punti dello spazio di lavoro.
La query di ogni robot legge questa rappresentazione e scambia informazioni con le altre query, mentre ciascun robot conserva il proprio flusso di azioni e la propria propriocezione, cioè le informazioni sul suo stato corporeo.
- Addestramento con inquadrature nascoste
Durante l’addestramento, il sistema nasconde alcune inquadrature a entrambi i percorsi visivi, ma mantiene come obiettivo le azioni dimostrate di ogni robot. Crea così esempi in cui un robot deve prevedere le proprie azioni con una copertura visiva incompleta, mentre le inquadrature rimanenti possono fornire contesto.
Questo progetto incoraggia la condivisione delle informazioni, ma i confronti riportati non ne isolano l’effetto rispetto al resto del sistema.
- Confronto del successo nelle attività
RoboFactory valuta squadre multi-robot in tre attività simulate: posizionare del cibo, allineare una telecamera e scattare una foto. I ricercatori riportano il successo per attività, assegnando lo stesso peso a ciascuna.
La media di World Dreamer v5-lite è stata del 74.0%, contro il 50.3% di π0.5, il miglior metodo di confronto valutato. Tutti i metodi hanno usato la stessa configurazione modificata delle telecamere, anche se non è stabilito che le altre condizioni di addestramento fossero identiche.
- Verifica in altre situazioni
L’articolo riporta anche risultati per la manipolazione domestica e prove con robot fisici. Su RoboCasa365, il modello ha ottenuto il 58.08% su 50 attività, compreso il 30.6% su 16 attività Composite-Unseen assenti dai dati di addestramento Human300.
Nelle quattro attività con robot fisici, il suo successo medio è stato del 78.8%, rispetto al 65.0% di π0.5. Questi risultati estendono le evidenze a quelle situazioni, ma non a ogni attività domestica o squadra di robot.
Dettagli
- Autori del paper originale
- Guoning Wu, Zijian Cai, Yuhang Zhang, Ying Liu, Yongbin Zheng
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive