AdMarketInc exécute un entraînement de modèle de recommandation sur une seule instance p3.16xlarge, ce qui prend environ 12 heures par essai. Ils ont un budget strict et peuvent exécuter au maximum environ 20 essais d'entraînement complets. Les évaluations de modèles sont modérément bruyantes, mais chaque essai est coûteux. Quelle stratégie de réglage automatique de modèle SageMaker devraient-ils choisir pour trouver le plus efficacement une configuration d'hyperparamètres quasi optimale dans les limites de leur budget d'essais ?

L'optimisation bayésienne est la stratégie la plus efficace en termes d'échantillons pour les évaluations coûteuses et bruyantes, comme c'est le cas ici. Elle construit un modèle probabiliste des performances par rapport aux hyperparamètres, ce qui lui permet de choisir intelligemment les prochains ensembles d'hyperparamètres à évaluer, convergeant ainsi plus rapidement vers une solution quasi optimale avec un nombre limité d'essais. La recherche aléatoire est généralement plus efficace que la recherche par grille, mais moins que l'optimisation bayésienne pour les évaluations coûteuses. HyperBand est utile pour l'arrêt précoce, mais l'optimisation bayésienne est préférable pour la sélection des hyperparamètres lorsque les essais sont limités et coûteux. La recherche par grille est inefficace pour un grand espace de recherche et un budget limité.