Ein ML-Spezialist führte eine SageMaker-Hyperparameter-Optimierung (HPO) über einen Lernratenbereich durch. Die meisten Versuche verwendeten Lernraten zwischen 0,01 und 0,1, aber der beste Versuch hatte eine Lernrate unter 0,01. Trainingsaufträge werden regelmäßig mit sich ändernden Daten ausgeführt. Der Spezialist wünscht sich einen Ansatz, der die Lernraten gleichmäßiger über den angegebenen MinValue–MaxValue-Bereich abtastet. Welche Wahl ist die genaueste Lösung?

Die korrekte Lösung besteht darin, die HPO-Konfiguration zu ändern, um eine logarithmische Skala für die Lernrate zu verwenden. Dies gewährleistet eine gleichmäßigere Abtastung des Suchraums, insbesondere wenn der optimale Wert in einem kleineren Bereich liegt, wie hier unter 0,01. Die ursprüngliche HPO-Konfiguration hat wahrscheinlich eine lineare Skala verwendet, was dazu führte, dass die meisten Versuche in einem engeren Bereich konzentriert waren. Das Ausführen mehrerer separater HPO-Jobs ist ineffizient und erfordert mehr manuelle Eingriffe. Die Option, die genaueste Hyperparameter-Konfiguration aus diesem Trainingsjob auszuwählen, ist nicht spezifisch genug, um das Problem der ungleichmäßigen Abtastung zu lösen.