온라인 배송 회사는 도시별로 하나의 XGBoost 모델을 S3에 저장하고 있으며, 현재 각 모델을 자체 EC2 인스턴스(활용률 5%)에서 호스팅하고 있습니다. 이 회사는 웹 앱이 기존 사용자 및 신규 사용자 모두에게 실시간으로 가장 빠른 배송 기사를 선택하도록 하면서 운영 오버헤드를 최소화하기를 원합니다. 최소한의 관리 노력으로 이를 달성하는 솔루션은 무엇입니까?

정답은 SageMaker 다중 모델 엔드포인트를 사용하는 것입니다. 이 솔루션은 단일 엔드포인트에서 여러 모델을 호스팅하여 운영 오버헤드를 최소화하고, 낮은 활용률의 EC2 인스턴스를 제거합니다. TargetModel 파라미터를 사용하여 런타임에 특정 도시 모델을 동적으로 로드하고 호출할 수 있어 실시간 추론 요구 사항을 충족합니다. 배치 변환은 실시간이 아니며, 단일 EC2 인스턴스로 통합하는 것은 확장성 및 관리 오버헤드 측면에서 비효율적입니다. 도시별로 별도의 SageMaker 엔드포인트를 생성하는 것은 관리 오버헤드가 크고 비용 효율적이지 않습니다.