사용자 지정 예측 모델을 호스팅해야 합니다. 워크로드는 매일 동일한 2시간 동안 예측 가능하고 지속되며, 많은 호출이 빠른 응답을 필요로 합니다. 회사는 AWS가 인프라 및 자동 스케일링을 관리하기를 원합니다. 어떤 호스팅 옵션이 이러한 요구 사항을 충족합니까?

Amazon SageMaker Serverless Inference는 인프라 관리 및 자동 스케일링을 AWS에 위임하여 예측 가능한 워크로드에 적합합니다. 특히 '프로비저닝된 동시성'을 구성하면 매일 동일한 2시간 동안 발생하는 많은 호출에 대해 빠른 응답 시간을 보장할 수 있습니다. 이는 콜드 스타트 지연을 제거하여 일관된 성능을 제공합니다. Amazon SageMaker 배치 변환은 실시간 예측이 아닌 대량의 데이터에 대한 비동기 예측에 사용되므로 빠른 응답이 필요한 요구 사항에 적합하지 않습니다. EC2 Auto Scaling 그룹이나 EKS 클러스터는 인프라 관리 부담이 크며, SageMaker Serverless Inference만큼 최적화된 자동 스케일링 및 콜드 스타트 관리를 제공하지 않습니다.