ES
Las predicciones de ejecución ayudan a los agentes a buscar soluciones
MLE-World: Predicting Machine Learning Experiment Outcomes with a Learned World Model · arXiv:2610.37175
En palabras sencillas
Cuando un agente escribe un programa de aprendizaje automático, normalmente tiene que ejecutarlo para saber si funciona. Esas ejecuciones llevan tiempo.
Este artículo presenta MLE-World, que predice qué resultado podría dar un programa para que el agente compare ideas antes de decidir cuál ejecutar. En pruebas con 17 tareas conocidas, cinco procedimientos de búsqueda que usaron estas predicciones obtuvieron puntuaciones medias más altas en la clasificación que el agente sin ellas. La prueba no muestra cómo funciona el método en tareas totalmente desconocidas.
La investigación
Los agentes de aprendizaje automático averiguan si un programa funciona ejecutándolo, pero cada ejecución entrena y evalúa un modelo y lleva tiempo. ¿Cómo puede un agente comparar más programas candidatos cuando obtener resultados reales es costoso?
MLE-World predice los resultados de ejecución de programas para que los agentes de aprendizaje automático comparen candidatos antes de elegir cuáles ejecutar.
Los autores probaron las predicciones de MLE-World con programas reservados y luego las usaron para guiar cinco procedimientos de búsqueda. En la prueba de predicción, un evaluador encontró más coincidencias en las salidas de terminal que con el mejor modelo de referencia guiado por instrucciones.
En los ensayos con agentes, todos los procedimientos guiados tuvieron un percentil medio observado más alto en la clasificación que Base AIDE.
Esto respalda el uso de resultados previstos para guiar la búsqueda en las tareas probadas; el mecanismo de decisión por confianza ahorró tiempo de ejecución, aunque sus resultados variaron según el procedimiento.
La prueba principal de predicción usó programas nuevos de tareas incluidas en el entrenamiento, por lo que no establece la precisión en entornos de tareas totalmente desconocidos.
Una pequeña prueba exploratoria en tres tareas excluidas apunta a cierta transferencia, pero en su muestra predominaron las ejecuciones fallidas; las predicciones de resultados de entrenamiento exitosos y de tiempos de espera agotados siguen estando menos establecidas.
Qué muestran las pruebas
- El coste de obtener resultados reales
Los agentes de ingeniería de aprendizaje automático buscan soluciones escribiendo programas, ejecutándolos y usando los resultados para revisar el código. Cada ejecución real entrena y evalúa un modelo, así que obtener información lleva tiempo.
MLE-World es un modelo aprendido del entorno que predice los resultados de ejecución de un programa candidato y da a los procedimientos de búsqueda información para comparar ideas antes de decidir qué ejecutar.
- Comprobar las predicciones
Primero, los autores comprobaron si MLE-World podía predecir los resultados de ejecución de programas nuevos. Un evaluador basado en Coder comparó las salidas de terminal previstas con las observadas; la precisión informada es la proporción de programas que juzgó como coincidencias.
Etiquetó como coincidencias el 77.9% de las predicciones de MLE-World, frente al 41.1% del mejor modelo de referencia guiado por instrucciones, DeepSeek. Eran programas nuevos de tareas también representadas en el entrenamiento.
- De las predicciones a la búsqueda
La siguiente pregunta era si las predicciones ayudan al agente a encontrar mejores soluciones. En 17 tareas de competiciones de aprendizaje automático, cinco procedimientos de búsqueda usaron MLE-World para comparar programas candidatos, mientras que Base AIDE buscó sin un modelo del entorno.
Los cinco tuvieron percentiles medios observados más altos en la clasificación que Base AIDE. El percentil mide la proporción de envíos de la tabla que se supera; los autores promediaron las puntuaciones entre tareas y semillas.
- Usar la confianza para ahorrar ejecuciones
Los autores también comprobaron si el agente podía ahorrar tiempo recurriendo a las predicciones cuando la confianza era alta. Un mecanismo de decisión solicitó ejecuciones reales para las predicciones con poca confianza y para los candidatos con una nueva mejor puntuación de validación prevista.
En los cinco procedimientos, ahorró entre un 30.0% y un 39.8% del tiempo de ejecución real y mantuvo en términos generales los percentiles medios observados, aunque el promedio de UCB fue menor con el mecanismo.
Detalles
- Autores del paper original
- Brian Ko, Han Wang, Hejia Geng, Li Erran Li, Sherry Yang
- Enviado a arXiv
- Licencia
- CC BY 4.0