ES
A los sistemas de memoria les cuesta convertir el historial del usuario en buenas decisiones
HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory · arXiv:2610.24520
En palabras sencillas
HABIT-Bench evalúa si la memoria de un asistente de IA puede ayudarle a aplicar correctamente los hábitos de una persona. Una elección pasada podría corresponder solo a una situación concreta, y una sugerencia que la persona nunca aceptó no debería contarse como preferencia.
La prueba da a un modelo que responde una solicitud, cuatro acciones posibles y contexto proporcionado por un sistema de memoria; después comprueba si elige la acción válida. En una de las configuraciones evaluadas, el mejor método de memoria obtuvo una puntuación parecida a la de un método que recuperaba sesiones anteriores. Un control con el historial comprimido superó a los métodos de memoria.
La investigación
Cuando un asistente conserva un historial largo de interacciones, ¿cómo puede distinguir si una elección repetida es un patrón duradero, una excepción ligada al contexto o una sugerencia que el usuario nunca aceptó?
El historial puede contener indicios sin dejar clara la acción correcta para una solicitud posterior.
HABIT-Bench evalúa si los sistemas de memoria infieren hábitos de usuario a partir de historiales incompletos y los aplican en elecciones posteriores.
¿Puede un agente inferir el patrón de conducta de un usuario a partir de un historial largo y saber cuándo se aplica? HABIT-Bench lo evalúa con historiales sintéticos y solicitudes posteriores en las que importan el contexto, las excepciones y si el usuario aceptó una sugerencia.
Los métodos de memoria proporcionan contexto a un modelo que responde y elige entre cuatro acciones; el evaluador puntúa si coincide exactamente con la opción válida. En la configuración con GLM-5.3-Flash, el mejor método de memoria quedó cerca de la recuperación de sesiones, mientras que un control con historial comprimido superó a los ocho métodos de memoria.
Esto respalda la interpretación de los autores de que los procesos de memoria elaborados no mejoran de forma consistente estas decisiones.
Los historiales son trayectorias sintéticas controladas, no registros longitudinales de las personas cuyas conversaciones orientadas a tareas sirvieron de base.
Travel es un conjunto de diagnóstico, no una prueba independiente de generalización. Como la construcción del contexto y los presupuestos varían, las comparaciones evalúan procesos completos, no aíslan una arquitectura de memoria.
Qué muestran las pruebas
- Un historial no equivale a un hábito
HABIT-Bench evalúa si los agentes basados en modelos de lenguaje pueden inferir patrones de conducta a partir de indicios incompletos repartidos entre sesiones y aplicarlos a solicitudes posteriores.
La pregunta importa porque las interacciones pasadas pueden ser ambiguas: una elección repetida quizá dependa del contexto, y una sugerencia del asistente no se convierte en preferencia del usuario solo por aparecer en el historial.
- Cómo se evalúan las elecciones
El benchmark crea historiales sintéticos de cuatro dominios y pide a un modelo compartido que responde que elija una de cuatro acciones para cada solicitud, usando el contexto que proporciona un método de memoria. El evaluador compara la elección con la única acción válida.
Los métodos estándar solo ven el historial disponible hasta ese momento, no las anotaciones privadas sobre hábitos, las sesiones futuras ni la respuesta correcta.
- Más memoria no mejoró el resultado
En la configuración con GLM-5.3-Flash, A-MEM, el método de memoria más sólido, obtuvo una macro accuracy del 33.61%, cerca del 33.21% de Dense RAG.
La macro accuracy es el promedio sin ponderar de la precisión en los cuatro dominios. El control Full Memory, que proporcionó un historial comprimido, obtuvo un 41.98%, por encima de los ocho métodos de memoria en esa configuración.
- Los indicios no resuelven la decisión
En un diagnóstico, el modelo que respondía recibió indicios privados anotados o, en una condición distinta, el estado privado de los hábitos y la acción requerida.
Con Qwen3-235B-A22B, las puntuaciones oscilaron entre el 39.26% y el 58.25% en los distintos dominios cuando recibió indicios anotados, y entre el 98.41% y el 99.26% cuando recibió el estado de los hábitos y la acción. La diferencia sugiere que encontrar indicios y usarlos para reconstruir una decisión válida son retos distintos, aunque las condiciones también difieren en la información proporcionada.
Detalles
- Autores del paper original
- Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Jiarui Wang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive