한 팀에서 여러 버전의 예측 모델을 프로덕션 환경에서 장기적으로 운영하고, 각 버전이 제공하는 추론의 비율을 제어하며, 구현 노력을 최소화하고자 합니다. 다음 중 이러한 요구 사항을 가장 잘 충족하는 솔루션은 무엇입니까?

정답은 SageMaker 엔드포인트에 여러 프로덕션 변형을 사용하여 모델 버전을 관리하고 트래픽을 제어하는 것입니다. SageMaker는 단일 엔드포인트 내에서 여러 모델 변형을 호스팅할 수 있도록 지원하며, 각 변형에 가중치를 할당하여 특정 모델 버전으로 라우팅되는 추론 트래픽의 비율을 제어할 수 있습니다. 이는 A/B 테스트, 점진적 롤아웃 또는 여러 모델 버전을 동시에 운영하는 데 이상적이며, 구현 노력을 최소화합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다: 각 모델에 대해 별도의 엔드포인트를 생성하는 것은 관리 오버헤드가 크고, 애플리케이션 계층에서 트래픽 라우팅 로직을 구현해야 하므로 구현 노력이 증가합니다. SageMaker Neo는 모델을 엣지 디바이스에 배포하기 위해 최적화하는 도구이며, 프로덕션 환경에서 여러 모델 버전의 트래픽을 제어하는 목적과는 다릅니다. 배치 변환은 대량의 데이터를 비동기적으로 처리하는 데 사용되며, 실시간 추론 트래픽을 여러 모델 버전으로 분할하는 데 적합하지 않습니다.