SageMaker üzerinde bir derin öğrenme modeli eğiten bir şirket, en az hesaplama süresini kullanarak doğrulama kaybını en aza indirmek için hiperparametreleri optimize etmek istiyor. Hangi ayarlama stratejisini seçmelidirler?

Hyperband, kaynakları verimli bir şekilde kullanarak, özellikle derin öğrenme modellerinde, hiperparametre optimizasyonunu hızlandıran bir ayarlama stratejisidir. Rastgele seçilen hiperparametre kombinasyonlarını aşamalı olarak değerlendirir ve kötü performans gösterenleri erken durdurarak hesaplama süresinden tasarruf eder. Bu, en az hesaplama süresiyle doğrulama kaybını en aza indirme hedefine doğrudan hizmet eder. Grid search, her olası kombinasyonu denediği için çok zaman alıcıdır. Random search, Grid search'ten daha verimli olsa da, Hyperband'ın erken durdurma mekanizmasına sahip değildir. Bayesian optimization ise genellikle daha az yineleme ile iyi sonuçlar verse de, Hyperband'ın çok kollu haydut (multi-armed bandit) yaklaşımlarından daha yavaş olabilir ve özellikle büyük arama alanlarında Hyperband'ın hız avantajına sahip değildir.