IT
Un framework verifica se le attività di lavoro si possono svolgere
WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training · arXiv:2610.37161
In parole semplici
WorkFactory è un sistema che crea attività professionali per addestrare agenti software. Parte dal risultato che il lavoro dovrebbe produrre e procede a ritroso per elencare le informazioni necessarie; poi verifica se quei fatti compaiono nella richiesta o nei file.
Un solver separato prova l’attività e chi la prepara corregge gli impedimenti prima che un insegnante mostri come svolgerla. In uno studio sui singoli componenti, aggiungere verifiche e riparazioni alla pianificazione delle informazioni ha ridotto i problemi segnalati in tutte e otto le categorie.
Inoltre, sui quattro test testuali di lavoro professionale, i modelli addestrati con le dimostrazioni di WorkFactory hanno superato i rispettivi modelli base.
La ricerca
Una dimostrazione di addestramento è utile solo se l’attività fornisce al solver le premesse necessarie per svolgere il lavoro. Ma se l’attività include già la risposta o le valutazioni intermedie, non mostra più l’insegnante mentre esegue quel lavoro.
Come possono i costruttori di attività mantenere questo confine combinando informazioni provenienti da file sparsi?
WorkFactory pianifica le informazioni necessarie per ogni attività, verifica i materiali costruiti e ripara gli impedimenti prima che un insegnante separato la svolga.
In un’analisi dei componenti, rispetto alla pianificazione diretta degli artefatti, la pianificazione basata sulle informazioni ha ridotto i problemi segnalati dal solver di verifica in sei categorie su otto, ma due categorie sono peggiorate.
GDPval-AA valuta il lavoro professionale facendo confrontare ai valutatori le consegne con i requisiti originali; il punteggio Elo riassume queste preferenze a coppie su una scala calibrata. Uno studente addestrato con dimostrazioni di attività riparate ha ottenuto 1,326, contro 1,293 con la sola pianificazione basata sulle informazioni. Dopo la riparazione, i problemi segnalati sono diminuiti in tutte e otto le categorie.
I risultati sull’impatto dei singoli componenti provengono da condizioni di sintesi con 5.000 attività e dal modello studente e dalla configurazione di addestramento testati. I conteggi dei difetti nella condizione con riparazione si basano sui rapporti finali di verifica e includono attività poi scartate perché avevano impedimenti irrisolti.
Il confronto più ampio sull’addestramento ha esaminato tre dimensioni di modello nella risoluzione di attività solo testuali; non ha verificato l’apprendimento da prove visive né il reinforcement learning.
Cosa mostrano le prove
- Definire i confini dell’attività
WorkFactory è un framework per creare attività professionali eseguibili destinate all’addestramento di agenti che svolgono attività lavorative. Il problema è che un’attività può includere file plausibili e tuttavia omettere o contraddire informazioni necessarie per il lavoro previsto.
Chi la prepara deve fornire i fatti di supporto, lasciando al solver i calcoli e le valutazioni, così che la dimostrazione dell’insegnante mostri il lavoro che l’attività vuole suscitare.
- Pianificare, verificare, riparare
WorkFactory pianifica a ritroso a partire dal risultato previsto. Il suo information support graph registra da quali informazioni dipende il risultato, dove dovrebbero essere disponibili e quali risultati il solver deve ancora ricavare.
Dopo che chi prepara l’attività l’ha costruita, un solver di verifica separato la prova usando soltanto i materiali visibili al solver. Un revisore può risolvere gli impedimenti che ostacolano il lavoro e un nuovo controllo verifica le modifiche prima che un insegnante riceva un’attività mantenuta.
- La pianificazione aiuta, ma restano lacune
I ricercatori hanno confrontato la pianificazione basata sulle informazioni con quella diretta a livello di artefatto in due condizioni di sintesi da 5.000 attività ciascuna. Un unico solver di verifica ha esaminato le attività; i ricercatori hanno conteggiato l’incidenza a livello di attività quando un rapporto segnalava almeno un problema relativo a un impedimento o alla correttezza in una categoria.
La pianificazione ha ridotto l’incidenza in sei categorie su otto, ma le fughe di informazioni o scorciatoie e le incoerenze interne sono aumentate. Il grafo aiuta a organizzare le informazioni di supporto, ma la sola pianificazione non ha impedito tutti i difetti dopo la costruzione.
- La riparazione aggiunge riscontri
La condizione con riparazione ha aggiunto verifiche e interventi dopo la pianificazione basata sulle informazioni. Rispetto alla sola pianificazione, i rapporti finali di verifica hanno mostrato un’incidenza inferiore in tutte e otto le categorie di difetti.
Separatamente, i ricercatori hanno addestrato lo stesso modello studente sulle dimostrazioni di ciascuna condizione. Su GDPval-AA, i valutatori confrontano le consegne per attività professionali con i requisiti originali; il punteggio Elo riassume queste preferenze a coppie su una scala calibrata.
Il punteggio è passato da 1,293 con la sola pianificazione a 1,326 con la riparazione. I conteggi dei difetti includono attività poi scartate per impedimenti irrisolti; il confronto successivo supporta il processo testato, ma non prova che ogni riduzione abbia causato l’aumento del punteggio.
- I risultati si estendono all’addestramento
Per il confronto più ampio sull’addestramento, i ricercatori hanno addestrato tre modelli WorkPilot partendo dai rispettivi modelli base Qwen e usando lo stesso corpus WorkFactory. I modelli WorkPilot hanno superato i rispettivi modelli base nei quattro test di lavoro professionale.
Insieme all’analisi dei componenti, questo risultato supporta l’interpretazione degli autori secondo cui costruire attività coerenti può migliorare l’utilità delle dimostrazioni di un insegnante. I risultati riguardano tre dimensioni di modello testate e attività risolte usando solo testo.
Dettagli
- Autori del paper originale
- Ziyang Zeng, Tingyang Chen, Jia Deng, Qiyao Wang, Shuo Tang
- Inviato ad arXiv
- Licenza
- CC BY 4.0