ES
Un marco para comprobar si las tareas de trabajo se pueden resolver
WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training · arXiv:2610.37161
En palabras sencillas
WorkFactory es un sistema para crear tareas de trabajo profesional que se usan para entrenar agentes de software. Parte del resultado que se espera del trabajo y retrocede para enumerar la información necesaria; luego comprueba si esos datos aparecen en la solicitud o en los archivos.
Un solucionador distinto intenta completar la tarea; quienes la preparan corrigen los bloqueos antes de que un docente la resuelva como demostración. En un estudio de componentes, añadir comprobaciones y reparaciones a la planificación de información redujo los problemas reportados en las ocho categorías.
Además, los modelos entrenados con demostraciones de WorkFactory superaron a sus modelos base correspondientes en cuatro pruebas de trabajo profesional con entradas solo de texto.
La investigación
Una demostración de entrenamiento solo es útil si la tarea proporciona las premisas que quien la resuelve necesita para trabajar. Pero si la tarea ya incluye la respuesta o los juicios intermedios, deja de mostrar al docente realizando ese trabajo.
¿Cómo pueden quienes construyen las tareas mantener ese límite al combinar información repartida entre distintos archivos?
WorkFactory planifica qué información necesita cada tarea, prueba los materiales resultantes y repara los bloqueos antes de que un docente independiente la resuelva.
En un análisis de componentes, la planificación a nivel de información redujo los problemas de tareas reportados por el solucionador de prueba en seis de ocho categorías frente a la planificación directa a nivel de artefacto, aunque dos categorías empeoraron.
GDPval-AA evalúa trabajo profesional haciendo que los evaluadores comparen las entregas con los requisitos originales; su puntuación Elo resume esas preferencias por pares en una escala calibrada. Un estudiante entrenado con demostraciones de tareas reparadas obtuvo 1,326, frente a 1,293 con planificación de información sola.
Tras la reparación, los problemas reportados por el solucionador de prueba disminuyeron en las ocho categorías.
Los resultados del análisis de componentes proceden de condiciones de síntesis de 5,000 tareas y del estudiante y la configuración de entrenamiento evaluados. Los recuentos de defectos de la condición con reparación se basan en los informes finales de prueba e incluyen tareas descartadas después por bloqueos sin resolver.
La comparación de entrenamiento más amplia abarcó tres escalas de modelos en resolución de tareas solo con texto; no evaluó el aprendizaje a partir de evidencia visual ni el aprendizaje por refuerzo.
Qué muestran las pruebas
- Definir los límites de la tarea
WorkFactory es un marco para construir tareas profesionales ejecutables con las que entrenar agentes de trabajo. El problema es que una tarea puede contener archivos verosímiles y, aun así, omitir o contradecir información necesaria para el trabajo previsto.
Quienes preparan la tarea deben aportar los datos de respaldo y dejar los cálculos y juicios a quien la resuelve, de modo que la demostración de un docente muestre el trabajo que la tarea pretende elicitar.
- Planificar, probar y reparar
WorkFactory planifica hacia atrás desde el resultado previsto. Su grafo de respaldo de información registra de qué información depende ese resultado, dónde debería estar disponible y qué resultados debe derivar quien resuelve la tarea.
Una vez materializada la tarea, un solucionador de prueba independiente la intenta usando solo los materiales visibles para quien debe resolverla. Un refinador puede corregir fallos de respaldo que bloquean la tarea y un nuevo solucionador de prueba comprueba las revisiones antes de que se conserve una tarea para la demostración de un docente.
- La planificación ayuda, con límites
Los investigadores compararon la planificación a nivel de información con la planificación directa a nivel de artefacto en dos condiciones de síntesis de 5,000 tareas. Un mismo solucionador de prueba evaluó las tareas y los investigadores contaron la incidencia por tarea cuando un informe incluía al menos un hallazgo de bloqueo o de corrección en una categoría. La planificación redujo la incidencia en seis de ocho categorías, pero aumentó las filtraciones o los atajos y las inconsistencias internas.
El grafo ayuda a organizar la información de respaldo, pero la planificación sola no evitó todos los defectos tras materializar la tarea.
- La reparación aporta evidencia
La condición con reparación añadió pruebas y reparaciones después de la planificación a nivel de información. En comparación con la planificación sola, sus informes finales de prueba mostraron una incidencia menor en las ocho categorías de defectos.
Por separado, los investigadores entrenaron el mismo modelo estudiante con demostraciones de cada condición. En GDPval-AA, los evaluadores comparan entregas de tareas profesionales con los requisitos originales; la puntuación Elo resume esas preferencias por pares en una escala calibrada. La puntuación subió de 1,293 con planificación sola a 1,326 con reparación. Los recuentos de defectos incluyen tareas descartadas después por bloqueos sin resolver, y la comparación posterior respalda el proceso evaluado, pero no demuestra que cada reducción causara el aumento de puntuación.
- Los resultados se extienden al entrenamiento
Para la comparación de entrenamiento más amplia, los investigadores entrenaron tres modelos WorkPilot a partir de sus correspondientes modelos base Qwen con el mismo corpus de WorkFactory. Los modelos WorkPilot superaron a sus modelos base correspondientes en cuatro pruebas de trabajo profesional.
Junto con el análisis de componentes, esto respalda la interpretación de los autores de que construir tareas coherentes puede aumentar la utilidad de las demostraciones de docentes. Los resultados se limitan a tres tamaños de modelo evaluados y a la resolución de tareas solo con texto.
Detalles
- Autores del paper original
- Ziyang Zeng, Tingyang Chen, Jia Deng, Qiyao Wang, Shuo Tang
- Enviado a arXiv
- Licencia
- CC BY 4.0