Una prueba de entrega para clientes revela dificultades para crear sistemas eficaces

Cuando la solicitud de un cliente puede describir el problema equivocado, ¿puede un agente de IA descubrir las restricciones importantes y entregar un sistema que mejore el negocio del cliente?

Una prueba puede evaluar esa tarea completa de implementación si permite que los agentes revisen materiales del cliente, hagan preguntas a las partes interesadas y mide el sistema resultante con una métrica del propio cliente.

FDE-Gym evalúa a los agentes en tareas de implementación para clientes y encuentra dificultades tanto para descubrir restricciones no expresadas como para convertir los datos obtenidos en sistemas eficaces.

La prueba varía cuánto se le dice al agente, desde una tarea totalmente especificada hasta la solicitud original del patrocinador del cliente, y mantiene iguales el espacio de trabajo, las partes interesadas y los criterios de evaluación. En las mismas 20 tareas originales, la puntuación media de los tres modelos líderes cayó 0,28 cuando había que encontrar las reglas y restricciones.

En la condición principal, la configuración con mejor puntuación obtuvo una media de 0,56 en 95 tareas y resolvió 14. La puntuación compara la mejora empresarial con la de un sistema sin cambios y una solución experta, y tiene en cuenta los incidentes y los costos de contacto con las partes interesadas.

Incluso cuando un modelo obtuvo todos los hechos clave registrados en un subconjunto de tareas, una gran mejora empresarial siguió siendo poco frecuente.

Estos resultados describen los modelos probados en un único marco mínimo de agentes y en entornos simulados de atención al cliente.

No hay una comparación con personas, y las respuestas preparadas de las partes interesadas y los costos de contacto estimados por expertos no miden cómo afectarían a la entrega las interacciones reales con clientes ni sus costos.