Ein Data Scientist optimiert ein Deep-Learning-Modell zur Objekterkennung und muss viele parallele Hyperparameter-Tests durchführen, schlecht performende Tests frühzeitig stoppen und vielversprechenden Tests mehr Ressourcen zuweisen. Welche Hyperparameter-Suchtechnik minimiert die gesamte Rechenzeit und erfüllt gleichzeitig diese Anforderungen?

Hyperband ist eine effiziente Hyperparameter-Optimierungstechnik, die schlecht performende Konfigurationen frühzeitig stoppt (Early Stopping) und vielversprechenden Konfigurationen mehr Ressourcen zuweist. Dies minimiert die gesamte Rechenzeit, indem unnötige Berechnungen vermieden werden. Grid Search und Random Search führen alle Tests bis zum Ende durch und bieten keine Mechanismen für Early Stopping oder adaptive Ressourcenzuweisung, was sie ineffizienter macht. Bayesian Optimization ist zwar effizienter als Grid und Random Search, da es ein Surrogatmodell verwendet, aber es ist nicht so gut darin, die Rechenzeit durch aggressives Early Stopping zu minimieren wie Hyperband, insbesondere bei vielen parallelen Tests.