AdMarketInc uruchamia model rekomendacji, którego trenowanie na pojedynczym p3.16xlarge zajmuje około 12 godzin na próbę. Mają ścisły budżet i mogą przeprowadzić maksymalnie około 20 pełnych prób treningowych. Oceny modelu są umiarkowanie zaszumione, ale każda próba jest kosztowna. Jaką strategię automatycznego strojenia modelu SageMaker powinni wybrać, aby najefektywniej znaleźć prawie optymalną konfigurację hiperparametrów w ramach ograniczonego budżetu na próby?

Optymalizacja bayesowska jest najlepszym wyborem, ponieważ efektywnie wykorzystuje historię poprzednich prób do wyboru kolejnych zestawów hiperparametrów, co jest kluczowe przy ograniczonym budżecie (20 prób) i kosztownych ocenach. Buduje probabilistyczny model funkcji celu, który pomaga znaleźć obiecujące konfiguracje szybciej niż inne metody. Wyszukiwanie losowe jest lepsze niż siatkowe, ale mniej efektywne próbkowo niż optymalizacja bayesowska w przypadku kosztownych ocen. HyperBand jest skuteczne w przypadku wczesnego zatrzymywania, ale nie gwarantuje globalnego optimum w 20 próbach i może być mniej efektywne niż optymalizacja bayesowska w przypadku umiarkowanie zaszumionych ocen. Wyszukiwanie siatkowe jest najmniej efektywne próbkowo, ponieważ nie uczy się z poprzednich prób.