Bank używał SageMaker z wbudowanym algorytmem XGBoost i uruchomił zadanie automatycznego strojenia hiperparametrów metodą bayesowską, używając dokładności walidacji jako celu. Wdrożony model ma obecnie 75% dokładności. Bank dał specjaliście ML jeden dzień na poprawę dokładności produkcyjnej. Jaki jest najszybszy sposób, aby spróbować ulepszyć model w tym czasie?

Najszybszym sposobem na poprawę modelu w krótkim czasie jest użycie "ciepłego startu" (warm start) w zadaniu strojenia hiperparametrów SageMaker. Ta metoda pozwala na wykorzystanie wyników z poprzedniego strojenia, co przyspiesza proces i pozwala algorytmowi HPO na szybsze znalezienie lepszych hiperparametrów, ponieważ zaczyna od już poznanych, obiecujących konfiguracji. Zachowanie tej samej metryki celu (dokładności) jest kluczowe, aby kontynuować optymalizację w tym samym kierunku. Uruchomienie treningu przyrostowego jest przydatne, ale nie optymalizuje hiperparametrów od nowa, a jedynie kontynuuje trening istniejącego modelu. Tworzenie nowego zadania HPO z inną metryką celu (AUC lub F1) lub podwojenie liczby zadań treningowych wymagałoby rozpoczęcia procesu od zera, co jest czasochłonne i nieefektywne w kontekście jednodniowego terminu.