Un docente con puntuaciones corregidas ayuda a los agentes a completar más tareas
En palabras sencillas
El artículo presenta Rollout-to-Scorer Distillation, un método para mejorar los consejos que un docente da a un agente estudiante. Primero, el docente toma el control en puntos seleccionados de los intentos del estudiante.
Una copia del docente aprende puntuaciones basadas en esas intervenciones y después puntúa las palabras del estudiante durante el entrenamiento, sin mostrarle la intervención. En pruebas con tres entornos de tareas basadas en texto, los estudiantes entrenados con ese evaluador corregido completaron tareas con más frecuencia que los entrenados con cuatro métodos de comparación. El resultado se limita a los modelos y entornos probados.
La investigación
Cuando un estudiante dedica turnos a buscar o comprobar, ¿pueden los consejos token por token del docente indicarle qué movimientos realmente le ayudarán a terminar?
En la destilación habitual para agentes, el docente puntúa las palabras del estudiante sin ver cómo acaba el episodio, por lo que puede aprobar demoras que parecen sensatas en el momento sin tener en cuenta el resultado final.
Rollout-to-Scorer Distillation usa intervenciones seleccionadas del docente para corregir sus puntuaciones y luego congela el evaluador corregido para el entrenamiento habitual del estudiante.
Para comprobar la discrepancia, los autores compararon las intervenciones del docente con los resultados del estudiante desde los mismos estados de mayor desacuerdo en tres tipos de tareas basadas en texto: actividades domésticas, compras y experimentos científicos.
El docente completó las tareas con más frecuencia, lo que sugiere que esos estados seguían estando dentro de su capacidad.
Los evaluadores promediaron el éxito en las tareas sobre tres decodificaciones muestreadas de cada punto de control final.
R2S obtuvo mejores resultados que la destilación habitual y otros tres métodos recientes en las doce combinaciones de docente, estudiante y entorno, lo que respalda la corrección dentro de las combinaciones probadas.
La comparación principal usó una ejecución de entrenamiento de 150 pasos por cada combinación de modelo y entorno, y los métodos de comparación conservaron sus propios ajustes.
La evidencia abarca los modelos Qwen y los entornos de texto reproducibles que se probaron; no permite establecer resultados fuera de esos casos.
Análisis
Detalles
- Enviado a arXiv
- Licencia
- CC BY 4.0