AdMarketInc traint een aanbevelingsmodel op een enkele p3.16xlarge, wat ongeveer 12 uur per trial duurt. Ze hebben een strikt budget en kunnen maximaal ongeveer 20 volledige training trials uitvoeren. Modelevaluaties zijn redelijk ruisig, maar elke trial is duur. Welke SageMaker Automatic Model Tuning-strategie moeten ze kiezen om het meest efficiënt een bijna-optimale hyperparameterconfiguratie te vinden binnen hun beperkte trialbudget?

Bayesiaanse optimalisatie is de meest efficiënte strategie voor het vinden van bijna-optimale hyperparameterconfiguraties wanneer trials duur en beperkt zijn, en evaluaties ruisig. Het bouwt een probabilistisch model van de doelstellingsfunctie en gebruikt dit om de meest veelbelovende hyperparametercombinaties te selecteren voor de volgende evaluatie, waardoor het minder trials nodig heeft om een goede oplossing te vinden. Random search is vaak beter dan Grid search, maar Bayesiaanse optimalisatie is doorgaans efficiënter bij dure evaluaties. HyperBand is nuttig voor vroege stopping, maar garandeert geen globaal optimum binnen een vast aantal trials en is niet per se de meest sample-efficiënte voor ruisige evaluaties. Grid search is inefficiënt omdat het alle combinaties test, wat te veel trials zou kosten bij dure evaluaties.