AdMarketInc проводит обучение рекомендательной модели на одном экземпляре p3.16xlarge, что занимает около 12 часов на одну попытку. У них строгий бюджет, и они могут провести не более 20 полных обучающих попыток. Оценки модели умеренно зашумлены, но каждая попытка обходится дорого. Какую стратегию SageMaker Automatic Model Tuning им следует выбрать, чтобы наиболее эффективно найти почти оптимальную конфигурацию гиперпараметров в рамках ограниченного бюджета на попытки?

Байесовская оптимизация является наиболее эффективным выбором для данного сценария, поскольку она строит вероятностную модель (суррогатную модель) целевой функции и использует ее для выбора наиболее перспективных гиперпараметров для следующей оценки. Это особенно полезно при ограниченном бюджете и дорогих, зашумленных оценках, так как она минимизирует количество необходимых итераций для нахождения почти оптимальной конфигурации. Случайный поиск менее эффективен, так как он не использует информацию о предыдущих оценках для выбора следующих гиперпараметров. HyperBand предназначен для ранней остановки и оптимизации использования ресурсов, но не гарантирует быстрого нахождения оптимума при сильном шуме и ограниченном числе попыток. Поиск по сетке неэффективен для дорогих оценок, так как он требует исчерпывающего перебора всех комбинаций, что превысит бюджет в 20 попыток.