Agent S4 fa evolvere gli strumenti per usare il computer a partire dall’esperienza

Quando gli strumenti di un agente sono fissati in anticipo, potrebbero non adattarsi all’attività; inoltre, aggiungerne di nuovi richiede di solito lavoro manuale.

Un agente può migliorare un insieme riutilizzabile di interfacce a partire dai propri tentativi, mantenendo invariati durante la ricerca il modello e l’harness che svolgono le attività?

Agent S4 fa evolvere interfacce e istruzioni riutilizzabili per l’uso del computer a partire dai tentativi svolti, poi seleziona un repository usando punteggi di validazione separati.

In un test completo di attività che richiedono l’uso del computer, la configurazione evoluta ha completato più attività dello stesso modello con interfacce fisse. Il confronto ha cambiato anche l’harness e l’accesso all’esecuzione, quindi non isola l’effetto del repository.

In un test distinto con attività su software scientifici, il repository evoluto ha risolto 99 attività su 169, contro 93 con quello iniziale. Poiché modello e harness erano gli stessi, il confronto sostiene l’ipotesi di un miglioramento dovuto al repository in quel contesto.

Nel confronto su OSWorld V2 sono cambiati anche l’harness e l’accesso all’esecuzione, quindi non è possibile stabilire quanta parte del miglioramento dipenda dal solo repository. Gli esempi selezionati di attività illustrano possibili meccanismi, ma non sono confronti controllati.