Adverto는 트래픽 변동성이 매우 큰(수 분 동안 요청이 전혀 없다가 가끔 급증하는) 모델 배치에 대해 SageMaker Serverless Inference와 상시 가동(always-on) 실시간 엔드포인트 중 어떤 것이 더 적합한지 평가하고 있습니다. 이러한 워크로드에서 비용을 최소화하기 위해 Serverless Inference 비용 모델과 상시 가동 실시간 엔드포인트 비용 모델에 대한 설명 중 가장 정확한 것은 무엇입니까?

Serverless Inference는 호출당 및 컴퓨팅 기간(GB-초)당 요금이 청구되므로, 트래픽이 없을 때는 비용이 발생하지 않습니다. 반면, 상시 가동 실시간 엔드포인트는 인스턴스가 실행되는 시간(유휴 상태 포함)에 따라 요금이 청구됩니다. 따라서 트래픽 변동성이 크고 사용률이 낮은 워크로드의 경우, Serverless Inference가 유휴 시간에 대한 비용을 절약할 수 있어 일반적으로 더 비용 효율적입니다. 다른 옵션들은 Serverless Inference 또는 상시 가동 엔드포인트의 비용 모델을 잘못 설명하고 있습니다. Serverless Inference는 고정 월별 요금이나 무료 티어를 제공하지 않으며, 상시 가동 엔드포인트는 유휴 시에도 비용이 발생합니다.