ML 전문가는 학습률 범위에 대해 SageMaker 하이퍼파라미터 최적화(HPO)를 실행했습니다. 대부분의 시행에서는 0.01에서 0.1 사이의 학습률을 사용했지만, 최상의 시행에서는 학습률이 0.01 미만이었습니다. 훈련 작업은 변경되는 데이터에 대해 정기적으로 실행될 것입니다. 전문가는 지정된 MinValue–MaxValue 범위에 걸쳐 학습률을 더 균등하게 샘플링하는 접근 방식을 원합니다. 다음 중 가장 정확한 해결책은 무엇입니까?

학습률과 같은 하이퍼파라미터는 종종 로그 스케일로 최적의 값을 찾습니다. 즉, 0.001에서 0.01 사이의 변화가 0.1에서 1.0 사이의 변화만큼 중요할 수 있습니다. Logarithmic 스케일링은 지정된 MinValue와 MaxValue 사이의 값을 로그 공간에서 균등하게 샘플링하여, 작은 값 범위에서도 세밀한 탐색이 가능하게 합니다. 이는 HPO가 최적의 학습률을 더 효율적으로 찾도록 돕습니다. 다른 옵션들은 여러 HPO 작업을 수동으로 나누거나, 단순히 최상의 구성을 선택하라고 제안하지만, 이는 문제에서 요구하는 '더 균등하게 샘플링하는 접근 방식'을 직접적으로 해결하지 못합니다. 특히, 여러 HPO 작업을 실행하는 것은 불필요한 복잡성과 자원 소모를 야기할 수 있습니다.