ES
La memoria externa ayuda a encontrar mejores soluciones matemáticas
Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery? · arXiv:2610.32046
En palabras sencillas
Al buscar una construcción matemática, un ordenador puede aprender de cada intento. Un método actualiza el propio modelo durante la búsqueda, lo que requiere cálculos adicionales.
Este artículo presenta Test-Time Memory Evolution: guarda en una memoria lecciones prácticas e ideas útiles, mientras deja intacto el modelo. En las tareas matemáticas evaluadas, el método encontró candidatos válidos con mejores puntuaciones que las obtenidas por el método de actualización de pesos publicado.
Las mediciones de coste también favorecieron a la memoria en tres tareas con un modelo, pero no abarcan todas las pruebas del artículo.
La investigación
Cuando un modelo busca una construcción matemática, la evaluación de sus candidatos puede orientar los intentos posteriores. El entrenamiento en tiempo de prueba usa esa información para actualizar los pesos del modelo, pero esas actualizaciones en línea requieren cálculos adicionales.
¿Puede otra forma de conservar la experiencia de búsqueda encontrar mejores candidatos con menos cómputo medido?
TTME guarda lecciones y estrategias útiles de búsqueda en una memoria externa para orientar a un modelo de pesos fijos hacia candidatos con mejores puntuaciones que los resultados publicados de TTT en las configuraciones evaluadas.
El entrenamiento en tiempo de prueba aprende de los candidatos evaluados actualizando los pesos del modelo, pero esas actualizaciones en línea requieren cálculos adicionales. ¿Puede una búsqueda guardar la experiencia útil fuera del modelo y aun así encontrar buenas construcciones matemáticas?
Los autores comparan TTME con los resultados publicados de TTT dentro de dos marcos de descubrimiento y usan el verificador de cada tarea para puntuar los candidatos.
TTME logra mejores puntuaciones máximas en todas las configuraciones publicadas de las cinco tareas. Esto respalda el uso de la memoria como alternativa en esas configuraciones; un control independiente también obtiene mejores puntuaciones que la búsqueda de pesos fijos sin adaptación.
La evidencia abarca dos marcos de descubrimiento, tres modelos y cinco tareas de construcción matemática.
Las puntuaciones de TTT se comparan usando resultados publicados en los artículos originales, y la fuente no establece que todos esos modelos usaran los mismos puntos de control o condiciones de ejecución. Las mediciones de coste solo cubren Qwen3-8B en tres tareas de TTT-Discover.
Qué muestran las pruebas
- Otra forma de adaptar el modelo
Test-Time Memory Evolution (TTME) es un método para adaptar un modelo durante el descubrimiento científico sin cambiar sus pesos.
El artículo pregunta si el modelo puede aprovechar la evaluación de candidatos con la misma eficacia que el entrenamiento en tiempo de prueba (TTT), que actualiza los pesos durante la búsqueda, evitando parte de ese trabajo computacional.
- Dos memorias orientan los candidatos
TTME mantiene dos tipos de memoria externa. Guideline Memory convierte los resultados y los fallos en lecciones prácticas de implementación. Strategy Memory extrae ideas algorítmicas de cambios válidos que mejoran la puntuación de una tarea, agrupa las ideas relacionadas y transforma algunas estrategias seleccionadas en instrucciones para candidatos posteriores. El modelo usa este material para generarlos, pero sus pesos no cambian.
- Puntuaciones en las tareas evaluadas
Los verificadores de cada tarea puntúan los candidatos generados, y los autores comparan la mejor puntuación válida en cada configuración publicada, según el objetivo de cada tarea.
TTME obtiene mejores puntuaciones que los resultados publicados de TTT en dos marcos de descubrimiento, tres modelos y cinco tareas de construcción matemática. Las puntuaciones de TTT proceden de artículos originales, y no se establece que todos los modelos y condiciones de ejecución fueran idénticos en cada comparación.
- Memoria frente a ninguna adaptación
Un control independiente compara TTME con la búsqueda subyacente usando pesos fijos, sin TTT ni TTME. Dentro de cada marco, mantiene constantes el modelo, la inicialización de la tarea, el evaluador, el presupuesto principal de candidatos y las reglas de búsqueda.
TTME logra mejores puntuaciones en las configuraciones evaluadas, lo que respalda la interpretación de que añadir memoria beneficia esas búsquedas con pesos fijos.
- Eficiencia en un subconjunto
En TTT-Discover, los autores también comparan el coste computacional de TTME y TTT con Qwen3-8B en AC1, AC2 y la tarea de Erdős. TTME reduce el tiempo entre un 47,7 % y un 58,4 % al excluir la evaluación, y reduce las operaciones de coma flotante entre un 82,8 % y un 84,6 %.
Estos rangos específicos de cada tarea, junto con las puntuaciones, respaldan una ventaja de eficiencia en este subconjunto; no la establecen para todas las configuraciones evaluadas.
Detalles
- Autores del paper original
- Yepeng Liu, Shengmai Chen, Xuandong Zhao, Chengzhi Liu, Dawn Song
- Enviado a arXiv
- Licencia
- CC BY-SA 4.0