한 회사에 Amazon SageMaker에 훈련된 ML 모델이 있습니다. 이 모델은 고가용성, 최소 지연 시간, 예측 불가능한 요청 급증 처리 능력을 갖추고 프로덕션 환경에 호스팅되어야 합니다. 각 요청은 1KB에서 3MB 사이입니다. 추론 용량은 수요에 비례하여 확장되어야 합니다. 회사는 모델을 어떻게 배포해야 할까요?

SageMaker 실시간 추론 엔드포인트는 고가용성, 최소 지연 시간, 예측 불가능한 요청 급증 처리에 최적화되어 있습니다. 오토스케일링을 활성화하면 수요에 따라 자동으로 용량을 조정하여 비용 효율성을 높이고 성능을 유지할 수 있습니다. 각 요청 크기가 1KB에서 3MB 사이인 경우 실시간 엔드포인트가 적합하며, 이는 대량의 데이터를 처리하는 배치 추론과 대조됩니다. Amazon ECS 및 EKS 클러스터는 모델 호스팅에 사용할 수 있지만, SageMaker 엔드포인트는 ML 모델 배포에 특화된 관리형 서비스로, 오토스케일링, 모니터링, A/B 테스트 등 ML 워크로드에 필요한 기능을 기본적으로 제공하여 운영 복잡성을 줄여줍니다. Spot Instances는 비용 효율적이지만, 예측 불가능한 중단이 발생할 수 있어 고가용성이 요구되는 프로덕션 환경에는 적합하지 않을 수 있습니다.