한 항공사에서 수요에 따라 항공권 가격을 조정하기 위해 SageMaker 실시간 엔드포인트를 운영합니다. 이전 배포에서는 웹사이트 트래픽이 증가했을 때 충분히 빠르게 확장하지 못했습니다. ML 엔지니어는 갑작스러운 트래픽 급증에 신속하게 대응할 수 있도록 대상 추적 자동 스케일링을 구성해야 합니다. 어떤 구성이 가장 빠르게 응답할까요?

가장 빠르게 응답하려면 고해상도 지표와 짧은 쿨다운 기간을 사용해야 합니다. SageMaker InvocationsPerInstance 지표는 엔드포인트 호출 수를 측정하여 트래픽 증가를 감지하는 데 적합합니다. '고해상도'는 지표가 1분 대신 10초 간격으로 게시되어 변화에 더 빠르게 반응할 수 있음을 의미합니다. 쿨다운 기간은 스케일링 활동 후 추가 스케일링이 시작되기 전까지의 대기 시간입니다. 기본 300초 쿨다운은 600초보다 짧으므로 스케일링 활동이 더 빨리 재개될 수 있습니다. 다른 옵션들은 표준 해상도 지표를 사용하거나(응답 속도 저하) 더 긴 쿨다운 기간을 설정하여(스케일링 지연) 최적의 빠른 응답을 제공하지 못합니다.