Eine Bank nutzte SageMaker mit dem integrierten XGBoost-Algorithmus und führte einen Bayes'schen automatischen Hyperparameter-Tuning-Job aus, wobei die Validierungsgenauigkeit als Ziel diente. Das bereitgestellte Modell hat derzeit eine Genauigkeit von 75 %. Die Bank hat dem ML-Spezialisten einen Tag Zeit gegeben, um die Produktionsgenauigkeit zu verbessern. Was ist der schnellste Weg, um innerhalb dieser Zeit zu versuchen, das Modell zu verbessern?

Ein Warm-Start-Hyperparameter-Tuning-Job in SageMaker nutzt die Ergebnisse und das Wissen aus einem vorherigen Tuning-Job. Dies ermöglicht es dem Bayes'schen Optimierer, effizienter nach besseren Hyperparameter-Kombinationen zu suchen, da er nicht bei Null anfangen muss. Da nur ein Tag zur Verfügung steht, ist dies der schnellste Weg, um eine Verbesserung zu erzielen. Die Durchführung eines inkrementellen Trainingsjobs würde nur das Modell mit den bereits gefundenen besten Hyperparametern weiter trainieren, was möglicherweise nicht zu einer besseren Genauigkeit führt, wenn die Hyperparameter nicht optimal sind. Die Verwendung einer anderen Zielmetrik wie AUC oder F1-Score könnte zwar langfristig sinnvoll sein, erfordert aber eine Neuanalyse und ist nicht die schnellste Methode zur Verbesserung der bestehenden Genauigkeit. Das Verdoppeln der maximalen Anzahl von Trainingsjobs in einem neuen Job ohne Warm-Start würde zu viel Zeit in Anspruch nehmen, da der Optimierer wieder bei Null beginnen müsste.