Un metodo per modificare gli harness migliora il trasferimento ad attività mai viste

Quando un agente viene modificato ripetutamente in base ai riscontri di un insieme finito di attività, impara modifiche utili anche per attività mai viste oppure si limita ad adattarsi all’insieme usato per migliorarlo?

La risposta conta per capire se i miglioramenti misurati si estendano oltre le attività che guidano ogni fase di modifica.

RRSI mantiene fisso il modello linguistico e regola come vengono modificate e mantenute le istruzioni, gli strumenti e le altre componenti dell’harness di un agente.

I ricercatori hanno evoluto un harness su una suite per ciascun dominio, poi lo hanno eseguito senza modifiche su test tenuti da parte, mantenendo fisso il modello di base.

Nella configurazione di attività lavorative con agenti, il punteggio medio nei tre test mai visti è stato 43.6 per RRSI e 39.7 per l’harness non evoluto.

Poiché la media combina i punteggi dei tre test, supporta un guadagno di trasferimento per quell’insieme, non un miglioramento in ogni attività. Il confronto valuta se l’harness evoluto sia utile anche oltre le attività usate per modificarlo.

Lo studio modifica gli harness mantenendo fisso il modello di base. Si basa su un evolve set finito e su specifiche impostazioni di regolarizzazione; resta da verificare se i risultati si trasferiscono ad architetture di agenti, ecosistemi di strumenti e sessioni più lunghi sostanzialmente diversi.