Quelles preuves soutiennent le choix d'un modèle d'IA ?

Un assistant domestique peut utiliser un modèle différent pour chaque type de requête, mais un choix qui paraît solide dans un benchmark peut échouer sur un appareil réel. Les tests sur images posent un problème analogue : des conditions absentes peuvent faire paraître préférable le mauvais modèle.

À travers quatre études, les preuves se trouvent à des distances variables de la décision.

Les jeux de test et les essais en conditions réelles examinent les résultats ; les statistiques tirées de modèles préentraînés permettent de classer les options plus tôt. La réponse utile qu'elles apportent est bornée par les conditions et les comportements effectivement vérifiés dans chaque étude.

Imaginez que vous deviez choisir quel modèle de langage traite la prochaine requête d'un assistant domestique. Le système peut seulement avoir besoin de classer la requête, d'allumer un appareil nommé ou d'écrire un nouveau programme pour une tâche planifiée. Confier chaque étape au même modèle revient à prendre une seule décision pour plusieurs travaux distincts.

L'étude sur l'automatisation domestique déployée demande lesquelles de ses tâches connues peuvent être confiées à des modèles plus petits tout en produisant le résultat demandé.

Imaginez maintenant choisir entre deux modèles qui détectent la présence d'un animal dans l'image d'un piège photographique. Si la plupart des images de test disponibles montrent des scènes diurnes, le modèle apparent vainqueur peut être celui qui gère le mieux les scènes de jour.

Les images nocturnes ont souvent un aspect différent, car les caméras utilisent une imagerie infrarouge en niveaux de gris. Une deuxième étude demande si l'ajout d'images représentant cette condition absente modifie le choix de l'évaluation entre un modèle entraîné sur des images de jour et un modèle entraîné sur des images de jour et de nuit.

Deux autres choix se posent avant qu'une telle comparaison directe soit possible : quel modèle publié pourrait résister à un changement de données, et dans quel ordre un générateur doit-il remplir une image ? Ces études examinent les motifs dans les poids préentraînés ou les dépendances entre les positions de sortie.

Ensemble, les quatre études posent une question pratique : quelle preuve est suffisamment proche du résultat souhaité pour soutenir un choix, et que peut seulement suggérer un indicateur précoce ?