Specjalista ML przeprowadził optymalizację hiperparametrów (HPO) SageMaker w zakresie współczynnika uczenia. Większość prób wykorzystywała współczynniki uczenia w przedziale od 0,01 do 0,1, ale najlepsza próba miała współczynnik uczenia poniżej 0,01. Zadania szkoleniowe będą regularnie uruchamiane na zmieniających się danych. Specjalista chce zastosować podejście, które równomierniej próbkuje współczynniki uczenia w określonym zakresie MinValue–MaxValue. Która opcja jest najdokładniejszym rozwiązaniem?

Poprawna odpowiedź to zmiana konfiguracji HPO na użycie rozkładu logarytmiczno-jednostajnego (LogUniform). Wyjaśnienie: Gdy najlepszy współczynnik uczenia znajduje się na granicy pierwotnego zakresu (poniżej 0,01, podczas gdy większość prób była w zakresie 0,01-0,1), oznacza to, że optymalny zakres może być niższy. Rozkład logarytmiczno-jednostajny jest idealny do próbkowania hiperparametrów, takich jak współczynnik uczenia, które często działają lepiej, gdy są próbkowane w skali logarytmicznej, ponieważ małe zmiany w niższych wartościach mogą mieć duży wpływ, a większe zmiany w wyższych wartościach mogą mieć mniejszy wpływ. Umożliwia to bardziej efektywne przeszukiwanie szerokiego zakresu wartości, równomiernie rozkładając próby w przestrzeni logarytmicznej. Pozostałe opcje, takie jak uruchamianie wielu zadań HPO z podziałem zakresów, są mniej efektywne, ponieważ wymagają ręcznego zarządzania i mogą nie znaleźć optymalnego rozwiązania tak szybko, jak pojedyncze zadanie HPO z odpowiednim rozkładem.