A AdMarketInc executa um treinamento de modelo de recomendação em uma única instância p3.16xlarge que leva cerca de 12 horas por tentativa. Eles têm um orçamento rigoroso e podem executar no máximo cerca de 20 tentativas de treinamento completas. As avaliações do modelo são moderadamente ruidosas, mas cada tentativa é cara. Qual estratégia de Ajuste Automático de Modelo do SageMaker eles devem escolher para encontrar de forma mais eficiente uma configuração de hiperparâmetros quase ótima dentro do orçamento limitado de tentativas?

A otimização Bayesiana é a escolha mais eficiente para orçamentos de tentativas limitados e avaliações caras e ruidosas. Ela constrói um modelo probabilístico (um modelo substituto) do desempenho do objetivo em relação aos hiperparâmetros, permitindo que o sintonizador selecione os conjuntos de hiperparâmetros mais promissores para avaliar em seguida. Isso minimiza o número de tentativas necessárias para encontrar uma configuração quase ótima. A busca aleatória é menos eficiente em termos de amostra do que a otimização Bayesiana para avaliações caras. HyperBand é mais adequado para cenários com muitos modelos de baixo custo e interrupção antecipada, o que não se aplica aqui devido ao alto custo por tentativa. A busca em grade é computacionalmente proibitiva para um grande espaço de hiperparâmetros e um orçamento limitado de tentativas, pois avalia exaustivamente todas as combinações.