ES
Las flotas de robots mejoran una política compartida con la experiencia de las tareas
Learning from Fleet Experience: A Collective Learning Paradigm for Robots · arXiv:2610.25736
En palabras sencillas
Los robots pueden aprender de lo que ocurre mientras realizan tareas reales, pero resulta más difícil que las personas observen y corrijan cada error a medida que crece la flota. Este artículo presenta una forma de compartir experiencias entre robots para mejorar una política común para una tarea.
Cuando un robot falla, el método usa esa situación para encontrar ejemplos pertinentes de acciones exitosas de la flota. En Phone Packaging, la política entrenada tuvo más éxito que la política inicial seleccionada en pruebas con dos robots que no habían aportado datos de entrenamiento. Las pruebas abarcaron esta tarea y esta plataforma.
La investigación
Cuando los robots encuentran condiciones desconocidas durante tareas reales, sus fallos revelan carencias de la política. Pero, a medida que crecen las flotas, ¿pueden mejorar a partir de la experiencia de uso sin que quienes los operan a distancia tengan que supervisar y corregir cada ejecución?
FERT usa los fallos de los robots para encontrar acciones exitosas pertinentes de la flota y entrena una política compartida con esas acciones para mejorar la ejecución de tareas.
Tras una inicialización supervisada por expertos, FERT usa el contexto de los fallos para recuperar acciones exitosas pertinentes de la experiencia de la flota y entrenar la política compartida.
Las personas siguen etiquetando los resultados de los episodios y reiniciando los entornos, mientras los robots aportan ejemplos de acciones.
En Phone Packaging, la política inicial seleccionada tuvo éxito en el 79,2 % de las pruebas, frente al 98,3 % tras entrenar con FERT usando 96 robots.
Los investigadores calcularon ambas tasas a partir de 120 pruebas autónomas realizadas en total con dos robots que no habían aportado datos para recopilar el entrenamiento.
Los resultados de las tareas abarcan cinco tareas de mesa en una sola plataforma robótica, y las comparaciones de Phone Packaging corresponden a las configuraciones de entrenamiento indicadas.
El resultado teórico se refiere a una única actualización suficientemente pequeña bajo supuestos específicos; no garantiza resultados de aprendizaje repetido.
Qué muestran las pruebas
- Aprender de la experiencia de la flota
El aprendizaje por experiencia colectiva (CEL) es el enfoque del artículo para que los robots compartan la experiencia obtenida durante su uso y mejoren una política común para una tarea. Aborda un problema de escalabilidad: cuando los robots encuentran errores durante el trabajo real, las correcciones humanas pueden ayudar, pero quienes los operan a distancia deben supervisarlos e intervenir.
El artículo pregunta si la experiencia de toda la flota puede permitir un entrenamiento posterior sin recopilar nuevas acciones correctivas de expertos.
- Usar los fallos para encontrar ejemplos
El ajuste fino con recuperación de experiencias guiada por fallos (FERT) implementa CEL al usar las ejecuciones fallidas para localizar segmentos pertinentes en trayectorias exitosas de los robots. Los fallos guían qué ejemplos exitosos reciben más atención; sus acciones no se copian como objetivos de entrenamiento.
Las acciones exitosas registradas aportan los objetivos para actualizar la política. En los experimentos, las personas siguen etiquetando los resultados de cada episodio y reiniciando los entornos.
- Probar en otros robots
Los investigadores evaluaron cinco tareas de mesa en condiciones reales con robots AgiBot G2. Para cada política y tarea, realizaron 60 pruebas autónomas en cada uno de dos robots que no habían aportado datos para recopilar el entrenamiento, y luego agruparon las pruebas para informar las tasas de éxito.
Esto evalúa si el aprendizaje basado en la experiencia se transfiere a otras unidades de la misma plataforma robótica.
- Comparar la experiencia y los resultados
En Phone Packaging, la política inicial seleccionada y supervisada por expertos tuvo éxito en el 79,2 % de las pruebas, frente al 98,3 % con FERT entrenado con 96 robots. Cada tasa cuenta las pruebas exitosas entre 120 pruebas autónomas realizadas en total con dos robots de prueba.
Cuando se mantuvo fijo el tiempo de recopilación por robot, FERT con 96 robots de entrenamiento también superó a FERT con 16 en esta tarea, aunque la comparación incluye más experiencia total.
- Comprobar la contribución de la recuperación
En otra prueba de Phone Packaging con 16 robots de entrenamiento, se retiró la recuperación guiada por fallos y se muestreó de manera uniforme la experiencia exitosa. El éxito bajó del 86,7 % al 64,2 %, con los demás parámetros fijos.
Esto respalda que la recuperación contribuyó al resultado en esa configuración específica. Un análisis teórico ofrece un resultado local relacionado para una única actualización suficientemente pequeña, pero solo bajo supuestos explícitos sobre la repetición de experiencias y la recuperación.
Detalles
- Autores del paper original
- Chao Yu, Shu'ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan
- Enviado a arXiv
- Licencia
- CC BY 4.0