La puntuación individual suele ocultar qué modelos ayudan al equipo

Cuando varios modelos de lenguaje trabajan juntos, ¿cómo pueden los investigadores saber cuál ayuda realmente al sistema? Una prueba individual mide cómo responde un modelo por sí solo, mientras que la pregunta del estudio es si mejora la respuesta conjunta al colaborar con otros modelos.

El aprendizaje por refuerzo composicional entrena un modelo mientras colabora con otros y usa como recompensa el resultado del equipo, para orientar el aprendizaje hacia su contribución a la respuesta conjunta.

El artículo estima la contribución de un modelo comparando la puntuación de una colaboración con todos sus integrantes con la puntuación obtenida tras retirar uno.

También propone el aprendizaje por refuerzo composicional (C-RL), que entrena un modelo dentro de la colaboración usando el resultado del equipo como recompensa.

En tres formas de colaboración y ocho tareas, C-RL superó al modelo sin entrenar en las 24 combinaciones y obtuvo la puntuación más alta en 21.

Esto respalda entrenar para mejorar el resultado conjunto: el entrenamiento con recompensa individual a veces elevó la puntuación del modelo por sí solo mientras reducía la del equipo.

Las comparaciones se limitan a los modelos, colaboradores, tareas y formas de colaboración descritos. La fuente no establece que todos los métodos partieran del mismo estado inicial del modelo.

Los resultados que dependen de servicios de modelos propietarios pueden cambiar cuando sus proveedores los actualicen.