Firma trenująca model głębokiego uczenia w SageMaker chce zoptymalizować hiperparametry, aby zminimalizować straty walidacyjne przy użyciu najmniejszego czasu obliczeniowego. Jaką strategię strojenia powinna wybrać?

Hyperband jest optymalną strategią, ponieważ efektywnie łączy losowe próbkowanie z wczesnym zatrzymywaniem słabo działających konfiguracji. Pozwala to na szybkie odrzucanie nieobiecujących hiperparametrów i skupienie zasobów obliczeniowych na tych, które rokują najlepiej, minimalizując czas obliczeniowy przy jednoczesnej optymalizacji strat walidacyjnych. Grid search i random search nie wykorzystują wczesnego zatrzymywania, co prowadzi do marnowania zasobów na słabe konfiguracje. Bayesian optimization jest skuteczna, ale zazwyczaj wymaga więcej iteracji i czasu obliczeniowego niż Hyperband, aby osiągnąć podobne lub lepsze wyniki, zwłaszcza gdy budżet obliczeniowy jest ograniczony.