ES
Un control de protocolo evitó cambios de aerolínea sin confirmar bajo presión
Concordat: Typed Sessions for LLM Agents · arXiv:2610.37461
En palabras sencillas
A un agente de aerolínea se le puede indicar en el prompt que obtenga un sí claro del cliente antes de cambiar una reserva. Pero un cliente apurado puede presionarlo para que actúe, y el cambio aún puede parecer exitoso si la reserva termina como se esperaba.
Concordat es una biblioteca de Python que ofrece al agente solo las herramientas permitidas en cada paso. En una prueba con clientes simulados que se resistían, el agente con Concordat no hizo cambios sin confirmar con ninguno de los dos modelos evaluados; el agente estándar sí los hizo.
La investigación
Si se indica a un agente que obtenga el sí explícito de un cliente antes de cambiar una reserva, ¿seguirá obedeciendo si el cliente lo apremia? Y si hace el cambio que el cliente quería, ¿la puntuación de la tarea revelará que nunca obtuvo la confirmación requerida? El artículo evalúa esta brecha entre seguir una regla y alcanzar el resultado esperado.
Concordat controla las herramientas de un agente según el estado del protocolo y, en pruebas de aerolínea con resistencia simulada, evitó los cambios sin confirmar que se midieron.
Los investigadores compararon un agente estándar de aerolínea con una versión de Concordat en 50 tareas, con clientes simulados que se resistían a la primera solicitud de confirmación. Consideraron aprobada una tarea si la base de datos final coincidía con el estado esperado y se había comunicado la información requerida.
El agente estándar hizo cambios sin confirmar con ambos modelos evaluados; Concordat no hizo ninguno.
Sin embargo, la puntuación por resultados podía pasar por alto una infracción: en la primera prueba de presión con Haiku, 8 de las 13 tareas con un cambio sin confirmar recibieron la recompensa completa. Las comparaciones por pares de tareas aprobadas no encontraron diferencias estadísticamente significativas entre los agentes con ninguno de los dos modelos.
Esto respalda una conclusión acotada: el control evitó las infracciones medidas sin una diferencia significativa en el éxito de las tareas.
Tanto el mecanismo de control como la medida del estudio consideraron que un mensaje con un «sí» explícito era una confirmación. Por eso, el recuento de cero se aplica a esa prueba compartida, no a todas las formas de consentimiento.
La evidencia abarca un dominio de tareas de aerolínea, dos modelos, pocos ensayos y presión simulada de clientes.
Qué muestran las pruebas
- Una regla frente a la presión del cliente
Concordat es una biblioteca de Python que proporciona a un agente LLM una interfaz de protocolo de estados finitos y la hace cumplir mientras el agente se ejecuta.
El artículo pregunta si un agente de aerolínea seguirá la regla indicada de obtener una confirmación explícita antes de cambiar una reserva cuando un cliente se resiste, y si la puntuación habitual de la tarea detecta una infracción. La condición de presión concreta la pregunta: al principio, los clientes se niegan a confirmar y solo dicen que sí si se les vuelve a preguntar.
- El protocolo controla qué herramientas se ofrecen
La biblioteca obtiene un protocolo a partir de una clase de agente y lo comprueba cuando se define esa clase. En cada turno, el ejecutor ofrece solo las herramientas permitidas en el estado actual y rechaza las llamadas que no están disponibles o tienen argumentos no válidos antes de que se ejecute una herramienta.
En la prueba de aerolínea, las herramientas que modificaban la base de datos solo estaban disponibles después de que el último mensaje del cliente cumpliera el criterio de «sí» del protocolo. Así, cambia lo que el agente puede hacer en lugar de depender únicamente de su prompt.
- El control bloqueó los cambios medidos
Los investigadores compararon el agente estándar de aerolínea con su versión de Concordat en las 50 tareas, añadiendo la resistencia simulada de los clientes. Una tarea se consideraba aprobada si la base de datos final coincidía con el estado esperado y se había comunicado la información requerida.
Bajo presión, el agente estándar hizo un cambio sin confirmar en 29 de 128 ejecuciones de tareas con Haiku y en 13 de 50 tareas con gpt-4.1; el agente con Concordat no hizo ninguno en ninguna de las dos comparaciones.
- Las puntuaciones de éxito pasaron por alto infracciones
La recompensa de una tarea aún podía considerarla exitosa aunque hubiera una infracción, si el resultado final parecía correcto. En la primera prueba de presión con Haiku, 8 de las 13 tareas con un cambio sin confirmar recibieron la recompensa completa.
Los investigadores tampoco encontraron una diferencia estadísticamente significativa en las tareas aprobadas entre los agentes en ninguna de las dos comparaciones de modelos. En conjunto, estos resultados muestran que la puntuación por resultados pasó por alto algunas infracciones y que el control evitó las infracciones medidas sin una diferencia significativa en el éxito de las tareas en estas evaluaciones.
Detalles
- Autores del paper original
- Milad Sikaroudi
- Enviado a arXiv
- Licencia
- arXiv non-exclusive