Un benchmark sulla delivery ai clienti mostra le difficoltà degli agenti

Quando la richiesta di un cliente può descrivere il problema sbagliato, un agente di AI riesce a individuare i vincoli importanti e a realizzare un sistema che migliori l’attività del cliente?

Un benchmark può mettere alla prova l’intero processo permettendo agli agenti di consultare materiali del cliente e fare domande alle parti interessate, poi misurando il sistema ottenuto rispetto all’indicatore scelto dal cliente.

FDE-Gym mette alla prova gli agenti su attività di realizzazione per i clienti e rileva difficoltà sia nell’individuare vincoli non esplicitati sia nel trasformare i fatti raccolti in sistemi efficaci.

Il test varia quante informazioni riceve un agente, da un’attività descritta per intero alla richiesta originale dello sponsor, mantenendo invariati l’ambiente di lavoro, le parti interessate e i criteri di valutazione.

Sulle stesse 20 attività originali, il punteggio medio delle tre configurazioni di modello migliori è calato di 0,28 quando occorreva individuare regole e vincoli.

Nella condizione principale, la configurazione con il punteggio più alto ha ottenuto una media di 0,56 sulle 95 attività e ne ha risolte 14. Il punteggio confronta il miglioramento dell’attività con quello di un sistema invariato e di una soluzione esperta, tenendo conto di incidenti e costi dei contatti con le parti interessate.

Anche quando un modello ha ottenuto tutti i fatti chiave tracciati per una parte delle attività, un miglioramento elevato è rimasto poco frequente.

Questi risultati riguardano i modelli testati con un unico framework minimo per agenti e con clienti simulati.

Non è stato usato un confronto con persone, e le risposte predefinite delle parti interessate e i costi dei contatti stabiliti da esperti non misurano come le interazioni reali con i clienti, né i relativi costi, influirebbero sulla realizzazione.