ES
Javo aumenta las ventas en pruebas con sitios web reales
Selling in the Wild: Benchmark and Randomized Field Evidence for a Sales Agent Trained on Commercial Conversations · arXiv:2610.25461
En palabras sencillas
El artículo pregunta si un agente de ventas cambia lo que compra la gente en sitios web reales, y no solo cómo se desenvuelve en conversaciones de ventas simuladas. Presenta Javo, un agente de pesos abiertos entrenado con conversaciones comerciales completas, y lo compara con otras opciones usando visitas reales a sitios web.
En 85 sitios transaccionales, los visitantes a quienes se ofreció Javo generaron un 10 % más de ingresos netos por visitante asignado al azar que aquellos a quienes no se ofreció ningún agente. Es un promedio a corto plazo para esos sitios, no un resultado garantizado para cada sitio web.
La investigación
¿Puede el entrenamiento con conversaciones de ventas reales cambiar lo que compran los visitantes, en lugar de solo mejorar la puntuación de un agente con clientes simulados?
El artículo conecta ambas preguntas al evaluar Javo en pruebas de ventas sin conexión y con tráfico web real asignado al azar, incluidas comparaciones con no ofrecer un agente, con otro modelo y con los equipos de los sitios.
Javo entrena un agente de ventas de pesos abiertos con conversaciones comerciales completas y evalúa si ofrecerlo cambia las compras en sitios web activos.
Javo es un agente de ventas de pesos abiertos entrenado con conversaciones comerciales completas. Los autores primero midieron sus puntuaciones de intención de compra y desempeño de venta en conversaciones simuladas; después asignaron al azar a visitantes de sitios web para ofrecerles Javo o alternativas.
Frente a no ofrecer un agente, Javo cambió los ingresos netos en +10,0 % por visitante asignado al azar en 85 sitios transaccionales, incluidos quienes nunca chatearon.
Esa comparación responde a si ofrecer Javo cambió los resultados de ventas a corto plazo en esos sitios.
Otras pruebas encontraron una conversión mayor entre visitantes que interactuaron que con el agente de vanguardia evaluado y no inferioridad frente a los equipos existentes de los sitios, según un margen fijado de antemano; esas comparaciones, sin embargo, tenían condiciones distintas.
Los sitios aceptaron participar y no eran una muestra aleatoria de la web. Los resultados de campo abarcan cinco meses, y la comparación con el modelo de vanguardia evaluó una sola versión; no establecen efectos a más largo plazo ni resultados en otros sitios y modelos.
Qué muestran las pruebas
- De las puntuaciones a las ventas
Javo es un agente de ventas de pesos abiertos entrenado con conversaciones comerciales completas. El artículo pregunta si ese entrenamiento se traduce en cambios en las compras en sitios web activos, ya que las puntuaciones con clientes simulados no bastan para saber si ofrecer un agente cambia lo que compran los visitantes. Los autores combinan pruebas sin conexión con comparaciones aleatorizadas del tráfico web.
- Qué mide la prueba sin conexión
SalesLLM-EN evalúa conversaciones de ventas simuladas con varios turnos y combina la intención de compra con el desempeño de venta en una escala de 0 a 10. Javo obtuvo una media de 7,01 en tres ejecuciones con CustomerLM, frente a 6,21 del mejor modelo de vanguardia.
Esto aporta evidencia sobre la simulación evaluada; por eso, el artículo también compara Javo con su propio modelo base y pasa a estudiar visitas reales.
- Una comparación del entrenamiento
En la misma prueba sin conexión, el modelo base obtuvo 5,73, frente a los 7,01 de Javo tras completar todo su procedimiento de entrenamiento. Esta comparación vincula la diferencia de puntuación con el procedimiento de entrenamiento en conjunto, pero no aísla sus componentes ni establece qué ocurre en ventas reales.
Una ablación independiente sin ejemplos sobre restricciones obtuvo 7,13 en SalesLLM-EN, pero superó al primer intento el 58 % de las tareas de la prueba de uso de herramientas con restricciones de políticas, frente al 73 % de Javo.
Así, la ablación obtuvo una puntuación mayor en ventas simuladas y menor en esta prueba de políticas. Las pruebas aleatorizadas en sitios web abordan la pregunta distinta de qué ocurre con los resultados en entornos reales.
- Resultados de visitantes reales
En la comparación sin agente, los visitantes asignados al azar en 85 sitios transaccionales generaron, según la estimación, un 10,0 % más de ingresos netos por visitante cuando se les ofreció Javo; la medida incluye a quienes no interactuaron con el chat.
En otra comparación, la conversión entre visitantes que interactuaron fue un 21,6 % mayor con Javo que con el agente de vanguardia evaluado. Esa configuración también recibió un bloque adicional de instrucciones sobre prácticas de venta, por lo que el resultado no aísla el efecto de los pesos del modelo.
- Una comparación acotada con personas
En 20 sitios con chat atendido por personas, Javo cumplió la prueba de no inferioridad del estudio frente a los equipos existentes en la conversión entre visitantes que interactuaron, con un margen relativo del 10 % fijado de antemano; no mostró una superioridad significativa.
La comparación con personas también difería en cómo se identificaba al interlocutor y en la presentación del chat. En conjunto, las pruebas de campo respaldan una conclusión acotada sobre Javo frente a las alternativas evaluadas en los sitios participantes, no sobre todos los sitios web ni todos los equipos de ventas.
Detalles
- Autores del paper original
- Benjamin Tannenbaum
- Enviado a arXiv
- Licencia
- arXiv non-exclusive