Una compuerta comprueba los recuerdos antes de acciones importantes

¿Cuándo debería un agente confiar lo suficiente en un dato almacenado como para actuar basándose en él? La antigüedad o la confianza en un recuerdo no bastan para responder: el mismo dato puede ser adecuado para una acción rutinaria y requerir una comprobación si un error tendría consecuencias mayores. El artículo pregunta cómo decidir cuándo comprobar, continuar o abstenerse.

AMV-Guard comprueba las afirmaciones almacenadas que respaldan cada acción propuesta cuando el resultado podría cambiar si el agente continúa, se abstiene o vuelve a planificar.

AMV-Guard comprueba las afirmaciones que respaldan las acciones propuestas cuando el resultado podría cambiar si el agente continúa, se abstiene o vuelve a planificar.

En ToolSandbox, una prueba simulada de uso de herramientas donde los agentes realizan tareas y un evaluador califica los resultados, se comparó con AMV-Static, que no adaptaba sus comprobaciones a las nuevas observaciones.

Con tres semillas de observación, AMV-Guard redujo el coste medio de verificación por episodio de 1.843 a 1.219. Ambos sistemas tuvieron cero ejecuciones dañinas entre los casos que la compuerta podía evaluar.

Además, ambos ejecutaron todos los candidatos originales seguros según la verdad de referencia que la compuerta podía evaluar durante el episodio inicial de Gate, posiblemente después de verificarlos y antes de volver a planificar.

El daño bruto de extremo a extremo de AMV-Guard fue ligeramente mayor. La comparación respalda un coste menor bajo esta configuración de prueba, no mejores resultados en todas las medidas.

Estas pruebas usan entornos simulados y solo abarcan las consecuencias que evalúan sus evaluadores. El resultado de AppWorld transfiere el núcleo de decisión, no el proceso completo de AMV-Guard para extraer y comprobar premisas.