하루 동안 요청 속도가 불규칙한 학습된 모델을 호스팅해야 합니다. 호스팅은 최대 수요에 맞춰 확장되어야 하지만, 유휴 상태일 때는 비용을 최소화해야 합니다. 어떤 호스팅 접근 방식이 이러한 제약 조건을 충족합니까?

Amazon SageMaker 엔드포인트에 모델을 배포하고 CloudWatch 지표 기반 자동 스케일링 정책을 구성하는 것이 가장 적합합니다. SageMaker 자동 스케일링은 요청 속도에 따라 인스턴스 수를 동적으로 조정하여 최대 수요에 맞춰 확장하고, 유휴 시에는 인스턴스를 줄여 비용을 최소화합니다. 고정된 동시성을 가진 AWS Lambda는 확장성은 있지만, 모델 로딩 오버헤드와 콜드 스타트 문제가 발생할 수 있으며, 복잡한 모델에는 적합하지 않을 수 있습니다. AWS Fargate에 고정된 수의 태스크를 실행하는 것은 유휴 시 비용을 최소화하지 못합니다. Application Load Balancer 뒤에 SageMaker 엔드포인트를 여러 개 두는 것은 트래픽 분산에는 좋지만, 엔드포인트 자체의 자동 스케일링 기능이 없으면 비용 효율적이지 않습니다.