IT
Un test per capire se gli agenti trasferiscono l’esperienza
Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents · arXiv:2610.33956
In parole semplici
Il Continual Learning Exam verifica se gli agenti basati su modelli linguistici riescono a usare ciò che imparano in un incarico per affrontarne altri in seguito. Le sue 120 attività hanno cinque passaggi collegati e l’agente deve superare ciascun passaggio per accedere al successivo.
Nelle 17 configurazioni testate, la possibilità di ricevere feedback e correggere una volta un invio fallito ha aumentato di 5,33 punti percentuali il completamento mediano, misurato come quota dei 600 livelli superati. Il confronto combina entrambe le modifiche, quindi non isola l’effetto dell’esperienza trasferita da un’attività all’altra.
La ricerca
Molti test valutano le attività una alla volta, quindi non possono stabilire se l’esperienza di un agente lo aiuti nel lavoro successivo. Resta da capire come misurare questo trasferimento tra incarichi in cui il lavoro seguente può dipendere da informazioni, file e procedure precedenti.
Il Continual Learning Exam collega incarichi professionali in sequenze di attività con accesso condizionato, per misurare se gli agenti trasferiscono l’esperienza ai passaggi successivi.
Gli agenti possono usare l’esperienza di incarichi precedenti per svolgere meglio quelli successivi? Il Continual Learning Exam collega cinque incarichi distinti in ogni attività professionale e richiede all’agente di superare ciascun livello prima di avanzare.
Un valutatore separato confronta gli invii con criteri definiti da persone, mentre il completamento complessivo conta i livelli superati sui 600 totali.
Nelle 17 configurazioni, il completamento mediano è aumentato di 5,33 punti percentuali quando gli agenti potevano ricevere feedback e correggere un invio fallito.
Il confronto supporta l’utilità di questa opportunità combinata, ma la migliore configurazione testata ha comunque superato meno della metà dei livelli totali.
Il confronto tra le prove modifica insieme il feedback e la possibilità di correggere la risposta, quindi non permette di stabilire quanto abbia contribuito l’esperienza conservata tra un’attività e l’altra.
I risultati descrivono le configurazioni testate con questo ordine delle attività e questa procedura di valutazione.
Cosa mostrano le prove
- La misura che manca
Il Continual Learning Exam (CLE) è un benchmark per verificare se gli agenti basati su modelli linguistici riescono a conservare e riutilizzare l’esperienza tra incarichi professionali. Molti test esaminano le attività separatamente, mentre i test sulla memoria chiedono agli agenti di recuperare informazioni dalle interazioni precedenti.
Nessuno dei due approcci misura direttamente se l’esperienza migliori le prestazioni nello svolgimento di attività successive. Il CLE affronta questa lacuna collegando le attività e misurando i progressi lungo una sequenza di lavoro prolungata.
- Gli incarichi si costruiscono in sequenza
Ognuna delle 120 attività del CLE è una sequenza di cinque livelli, ciascuno con un incarico distinto all’interno dello stesso contesto professionale. I livelli successivi possono dipendere da file, informazioni, procedure, strategie, preferenze dell’utente o conoscenze di settore acquisiti in quelli precedenti.
Gli agenti avanzano solo dopo aver superato il livello corrente. Il lavoro successivo dipende quindi dai progressi precedenti, mentre un fallimento può impedire di raggiungere i livelli rimanenti dell’attività.
- Come si misura il completamento
Un agente di valutazione distinto confronta ogni invio con criteri definiti da persone e materiali di riferimento, che restano nascosti all’agente testato. Devono essere soddisfatti tutti i criteri.
Nella Prova 1 è consentito un solo invio per livello, senza feedback diagnostico; nella Prova 2, dopo un primo invio fallito, viene fornito un feedback e si può correggere il lavoro una volta. Il completamento complessivo è la quota di tutti i 600 livelli superati; i livelli non raggiunti contano come fallimenti.
- Il feedback aiuta, ma entro certi limiti
Nelle 17 configurazioni, il completamento complessivo mediano è aumentato di 5,33 punti percentuali dalla Prova 1 alla Prova 2. Il confronto misura l’effetto combinato del feedback diagnostico e di un’ulteriore possibilità di correzione.
La migliore configurazione testata nella Prova 2 ha superato il 47,67% dei livelli: anche con questa opportunità aggiuntiva, completare l’intera sequenza di lavoro non era la norma tra i sistemi testati.
- I progressi calano lungo la sequenza
Il tasso cumulativo mediano di superamento tra le configurazioni è sceso dal 62,50% al primo livello all’8,33% al quinto. Questi tassi indicano la quota delle 120 attività in cui erano stati superati tutti i primi uno o cinque livelli; il dato sul quinto livello corrisponde quindi al completamento dell’intera attività.
Il forte divario mostra che spesso i progressi iniziali non si sono mantenuti lungo tutta la sequenza. Poiché le prove non isolano neppure le conoscenze conservate tra le attività, non possono stabilire quanto queste contribuiscano alle prestazioni.
Dettagli
- Autori del paper originale
- Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin
- Inviato ad arXiv
- Licenza
- CC BY 4.0