FR
Des résultats d’exécution prédits aident les agents à chercher des solutions
MLE-World: Predicting Machine Learning Experiment Outcomes with a Learned World Model · arXiv:2610.37175
En termes simples
Quand un agent écrit un programme d’apprentissage automatique, il doit généralement le lancer pour savoir s’il fonctionne. Ces exécutions prennent du temps.
Cet article présente MLE-World, qui prédit le résultat probable d’un programme afin que l’agent puisse comparer plusieurs idées avant d’en choisir une à lancer. Dans les tests portant sur 17 tâches familières, les cinq procédures de recherche utilisant ces prédictions ont obtenu des scores moyens au classement supérieurs à ceux de l’agent qui n’en disposait pas.
Le test ne montre pas dans quelle mesure l’approche fonctionne sur des tâches entièrement inconnues.
La recherche
Les agents d’apprentissage automatique découvrent si un programme fonctionne en le lançant, mais chaque exécution entraîne et évalue un modèle et prend du temps. Comment un agent peut-il comparer davantage de programmes candidats lorsque les retours réels sont coûteux ?
MLE-World prédit les résultats d’exécution de programmes pour que les agents d’apprentissage automatique puissent comparer des candidats avant de choisir lesquels lancer.
Les auteurs ont évalué les prédictions de MLE-World sur des programmes mis de côté, puis les ont utilisées pour guider cinq procédures de recherche.
Lors du test de prédiction, un évaluateur a relevé davantage de correspondances entre les sorties dans le terminal que pour la meilleure référence guidée par une consigne.
Lors des essais avec des agents, chaque procédure guidée a obtenu un percentile moyen observé au classement supérieur à celui de Base AIDE. Ces résultats étayent l’utilisation de retours prédits pour guider la recherche sur les tâches testées.
Le mécanisme de contrôle a réduit le temps d’exécution, avec des résultats variables selon la procédure.
Le principal test de prédiction portait sur de nouveaux programmes associés à des tâches présentes dans les données d’entraînement. Il ne permet donc pas d’établir la précision du modèle dans des environnements de tâches entièrement inconnus.
Un petit test exploratoire sur trois tâches exclues suggère un certain transfert, mais l’échantillon était surtout composé d’exécutions échouées. Les prédictions de résultats d’entraînement réussis et de dépassements de délai restent moins établies.
Ce que montrent les preuves
- Le coût des retours réels
Les agents d’ingénierie en apprentissage automatique cherchent des solutions en écrivant des programmes, en les exécutant, puis en utilisant les résultats pour réviser leur code. Chaque exécution réelle entraîne et évalue un modèle, ce qui rend le retour d’information coûteux.
MLE-World est un modèle appris du fonctionnement des programmes qui prédit le résultat de l’exécution d’un programme candidat. Il donne ainsi aux procédures de recherche des éléments pour comparer les idées avant de décider quoi lancer.
- Vérifier les prédictions
Les auteurs ont d’abord vérifié si MLE-World pouvait prédire les résultats d’exécution de nouveaux programmes. Un évaluateur Coder a comparé les sorties prédites et observées dans le terminal ; la précision rapportée est la part des programmes jugés correspondants.
Il a considéré que 77,9 % des prédictions correspondaient aux résultats, contre 41,1 % pour la meilleure référence guidée par une consigne, DeepSeek. Ces programmes étaient nouveaux, mais provenaient de tâches également représentées dans les données d’entraînement.
- Des prédictions à la recherche
La question suivante était de savoir si les prédictions aidaient l’agent à trouver de meilleures solutions. Sur 17 tâches de compétition en apprentissage automatique, cinq procédures de recherche ont utilisé MLE-World pour comparer des programmes candidats, tandis que Base AIDE a cherché sans modèle du fonctionnement des programmes.
Les cinq procédures ont obtenu un percentile moyen observé au classement supérieur à celui de Base AIDE. Le percentile mesure la part des soumissions dépassées ; les auteurs ont calculé la moyenne des scores sur l’ensemble des tâches et des graines.
- Se fier au niveau de confiance pour réduire les exécutions
Les auteurs ont aussi testé si l’agent pouvait gagner du temps en se fiant aux prédictions lorsque le niveau de confiance était élevé. Un mécanisme de contrôle demandait une exécution réelle pour les prédictions peu fiables et pour les candidats ayant un nouveau meilleur score de validation prédit.
Pour les cinq procédures, ce mécanisme a réduit de 30,0 % à 39,8 % le temps d’exécution réel tout en maintenant globalement les percentiles moyens observés, même si la moyenne d’UCB était plus basse avec le contrôle.
Détails
- Auteurs de l’article original
- Brian Ko, Han Wang, Hejia Geng, Li Erran Li, Sherry Yang
- Soumis à arXiv
- Licence
- CC BY 4.0