Ein Unternehmen, das ein Deep-Learning-Modell mit SageMaker trainiert, möchte Hyperparameter optimieren, um den Validierungsverlust mit der geringsten Rechenzeit zu minimieren. Welche Tuning-Strategie sollten sie wählen?

Hyperband ist die effizienteste Strategie, um den Validierungsverlust mit der geringsten Rechenzeit zu minimieren. Es verwendet ein Multi-Fidelity-Ansatz, der schlecht performende Hyperparameter-Konfigurationen frühzeitig eliminiert und mehr Ressourcen für vielversprechende Konfigurationen bereitstellt. Grid Search und Random Search sind weniger effizient, da sie entweder alle Kombinationen testen oder zufällig suchen, ohne aus früheren Ergebnissen zu lernen. Bayesian Optimization ist zwar auch effizient, aber Hyperband ist oft schneller, da es weniger Iterationen benötigt, um gute Ergebnisse zu erzielen, insbesondere wenn die Anzahl der Hyperparameter hoch ist.