AdMarketInc führt ein Empfehlungsmodelltraining auf einer einzelnen p3.16xlarge durch, das pro Versuch etwa 12 Stunden dauert. Sie haben ein striktes Budget und können höchstens etwa 20 vollständige Trainingsversuche durchführen. Modellbewertungen sind mäßig verrauscht, aber jeder Versuch ist teuer. Welche SageMaker Automatic Model Tuning-Strategie sollten sie wählen, um eine nahezu optimale Hyperparameterkonfiguration innerhalb ihres begrenzten Versuchsbudgets am effizientesten zu finden?

Die Bayes'sche Optimierung ist die effizienteste Strategie für dieses Szenario, da sie ein probabilistisches Modell der Zielfunktion erstellt und dieses nutzt, um die vielversprechendsten Hyperparameter-Sätze für die nächste Bewertung auszuwählen. Dies ist besonders vorteilhaft bei teuren und verrauschten Bewertungen sowie einem begrenzten Budget, da sie probeneffizienter ist als andere Methoden und schneller zu einer nahezu optimalen Konfiguration konvergiert. Zufallssuche ist zwar besser als Gittersuche, konvergiert aber bei teuren Bewertungen nicht so schnell wie die Bayes'sche Optimierung. HyperBand ist für frühes Stoppen bei ressourcenintensiven Trainings nützlich, garantiert aber nicht, das globale Optimum zu finden und ist nicht primär für die Effizienz bei einer festen Anzahl von Versuchen optimiert. Gittersuche ist bei einem begrenzten Budget und teuren Versuchen ineffizient, da sie alle Kombinationen systematisch durchläuft, ohne aus vorherigen Ergebnissen zu lernen.