한 ML 엔지니어가 분당 모델당 100개의 호출을 목표 추적 정책으로 사용하여 Amazon SageMaker 엔드포인트 뒤의 추론 구성 요소에 대한 자동 스케일링을 구성합니다. 엔드포인트는 업무 시간 동안 정상적으로 스케일링되지만, 매 영업일 시작 시 요청을 처리할 수 있는 인스턴스가 없어 지연이 발생합니다. 엔지니어는 매 영업일 시작 시 엔드포인트가 들어오는 요청을 처리할 수 있도록 어떻게 해야 할까요?

업무 시작 시 발생하는 지연은 인스턴스가 0에서 1로 스케일링업하는 데 시간이 걸리기 때문입니다. CloudWatch 알람 기반의 단계별 스케일링 정책을 사용하여 업무 시작 전에 최소 인스턴스 수를 0에서 1로 변경하면, 트래픽이 몰리기 전에 인스턴스가 준비되어 지연을 방지할 수 있습니다. 다른 옵션들은 이 문제를 해결하지 못합니다. 쿨다운 기간을 줄이거나 수명 주기 후크를 추가하는 것은 스케일링 속도를 높일 수 있지만, 인스턴스 수가 0에서 시작하는 근본적인 문제를 해결하지 못합니다. 대상 지표를 CPU 활용률로 변경하거나 목표 값을 1로 설정하는 것은 스케일링 동작에 영향을 주지만, 특정 시간대에 선제적으로 인스턴스를 준비시키는 데는 효과적이지 않습니다.