ES
Los agentes pueden mejorar sus herramientas agrupando capacidades compartidas
The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents · arXiv:2610.36077
En palabras sencillas
Trinity es un marco que mejora el software que organiza las acciones y los módulos reutilizables de un agente multimodal, mientras mantiene fijo el modelo subyacente. Agrupa las tareas que requieren capacidades similares, crea mundos de práctica más sencillos para esas capacidades y usa la retroalimentación para mejorar el software.
En los promedios de 28 tareas de entrenamiento y 18 tareas no vistas, la cuarta versión obtuvo puntuaciones más altas que la versión inicial. El Harness inicial se evaluó sin módulos aprendidos ni habilidades preparadas; cada versión evolucionada usó habilidades preparadas con cinco ensayos para ese Harness.
Por tanto, la comparación incluye tanto la evolución del software como las habilidades que acompañan a las versiones evolucionadas.
La investigación
Cuando los agentes se enfrentan a tareas variadas, crear entornos de práctica verificables es costoso, y ajustar un sistema de acciones para cada tarea puede limitar la transferencia. ¿Pueden las capacidades compartidas servir para organizar una mejora que se extienda entre tareas? Trinity pone a prueba esa pregunta agrupando las tareas según las capacidades que requieren.
Trinity agrupa tareas por capacidades compartidas, crea mundos de práctica verificables y evoluciona módulos de acción reutilizables mientras mantiene fijo el modelo subyacente.
Para probar la transferencia, el equipo comparó dos árboles de capacidades tras una ronda: uno aprendió con tareas originales y otro con mundos simulados verificados. Ambos usaron la misma estructura de árbol y se evaluaron solo con módulos.
Los controladores de tareas puntuaron los resultados; los investigadores promediaron por igual las puntuaciones específicas de cada tarea, de 0 a 100, en 28 pruebas de entrenamiento y 18 no vistas.
El entrenamiento con mundos simulados obtuvo puntuaciones más altas en ambos conjuntos, lo que respalda la transferencia, aunque los costes en tokens fueron distintos.
Las comparaciones de puntuaciones son promedios entre tareas, y los resultados varían según la tarea. El marco modifica el Harness y mantiene fijos los pesos subyacentes del modelo; la comparación con robots físicos también incluye habilidades preparadas por separado, así que no aísla la evolución de los módulos de la preparación de habilidades.
Los autores señalan que la cobertura y la calidad de los resultados de la búsqueda web pueden variar, y que el estudio se centra principalmente en la mejora del Harness.
Qué muestran las pruebas
- Mejorar en tareas variadas
Trinity es un marco de mejora recursiva para agentes multimodales. Trabaja sobre un Harness —el software que organiza las acciones y los módulos reutilizables de un agente— en lugar de modificar el modelo subyacente.
El artículo pregunta cómo mejorar este software para distintas tareas cuando crear entornos de práctica verificables es costoso y ajustar un sistema distinto para cada tarea puede limitar la transferencia.
- Organizar por capacidades compartidas
El marco agrupa las tareas según las capacidades que comparten y construye una jerarquía llamada árbol de capacidades. Creator crea mundos de práctica más sencillos y verificables para esos requisitos compartidos; Explorer perfecciona módulos reutilizables del Harness con la retroalimentación de esos mundos; y un enrutador selecciona un Harness compatible con cada tarea.
Evaluar las configuraciones resultantes en las tareas originales permite comprobar si la práctica se transfiere más allá de los mundos generados.
- Medir la mejora repetida
Los autores siguen el Harness inicial a lo largo de cuatro rondas de mejora. Los controladores de tareas puntúan cada tarea y los investigadores promedian por igual las puntuaciones específicas de cada tarea en los conjuntos de entrenamiento y de pruebas no vistas.
Los promedios suben de 39.06 a 73.16 puntos en 28 pruebas de entrenamiento y de 37.45 a 63.61 en 18 pruebas no vistas. El Harness inicial no tiene módulos aprendidos ni habilidades; cada versión evolucionada usa habilidades preparadas específicamente para ella.
Por tanto, la comparación refleja tanto la evolución del Harness como las habilidades usadas con las versiones evolucionadas.
- Comparar la práctica simulada
Para comprobar si los mundos de práctica contribuyen a la transferencia, los autores comparan dos árboles de capacidades tras una ronda. Ambos usan la misma estructura de árbol y se evalúan solo con módulos, sin habilidades; uno aprende de tareas originales y el otro, de mundos simulados verificados.
La versión simulada obtiene promedios más altos en ambos conjuntos de pruebas, aunque usa más tokens de entrenamiento, así que la comparación no aísla solo el efecto del currículo.
- Evaluar selección y enrutamiento
Una comparación de adición de módulos comprueba si importa su pertinencia para la tarea: añadir un módulo pertinente al Harness inicial produce un promedio de entrenamiento más alto que añadir uno no pertinente. Después, la comparación del enrutamiento evalúa si un agente puede seleccionar Harnesses adecuados con información sobre la tarea y experiencia verificada.
Sus puntuaciones medias se acercan a las del Oracle retrospectivo, una referencia que puede elegir el mejor Harness compatible después de examinar cada instancia y que no está disponible como método en línea.
- Ampliar las pruebas a robots
El estudio también evalúa configuraciones completas de Harness y habilidades en dos tareas con robots físicos. La configuración inicial no tiene éxito en ningún episodio de prueba de ninguna de las dos tareas, mientras que la cuarta iteración alcanza el 60% en cada una.
Como cada Harness tiene habilidades preparadas por separado, estos resultados amplían la evidencia a tareas físicas, pero no permiten atribuir la mejora únicamente a la evolución de los módulos.
Detalles
- Autores del paper original
- Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen
- Enviado a arXiv
- Licencia
- CC BY 4.0