BrightDrive는 비용 절감을 위해 트래픽이 적은 실시간 GPU 엔드포인트를 SageMaker Serverless Inference로 교체하려고 합니다. 이들은 동시성을 제어하고 지연 시간 트레이드오프를 이해해야 합니다. 서버리스를 구성하는 방법과 영구적인 실시간 엔드포인트와 비교했을 때의 트레이드오프를 가장 정확하게 설명하는 문장은 무엇입니까?

정답은 SageMaker Serverless Inference의 주요 특징과 트레이드오프를 정확하게 설명합니다. MaxConcurrency는 서버리스 엔드포인트가 동시에 처리할 수 있는 호출 수를 제어하며, 메모리 크기는 모델 실행에 필요한 리소스를 결정합니다. 서버리스는 유휴 시 0으로 축소되므로 첫 요청 시 콜드 스타트 지연 시간이 발생할 수 있습니다. 이는 간헐적인 트래픽에 비용 효율적이지만, 지속적인 실시간 엔드포인트는 더 낮은 일관된 지연 시간을 제공하며 GPU 및 프로비저닝된 용량을 지원하여 고성능 및 예측 가능한 지연 시간이 필요한 경우에 적합합니다. 오답 1: Provisioned Concurrency는 콜드 스타트를 줄일 수 있지만, SageMaker Serverless Inference는 현재 GPU 인스턴스 유형을 지원하지 않습니다. 오답 2: Serverless Inference는 MaxConcurrency 설정을 통해 동시성을 제어할 수 있으며, 단일 동시 호출로 제한되지 않습니다. 오답 3: MaxConcurrency 설정만으로 실시간 엔드포인트와 동일한 p99 지연 시간을 보장할 수 없으며, MaxConcurrency 1이라고 해서 콜드 스타트가 없어지는 것은 아닙니다. 콜드 스타트는 유휴 상태에서 첫 요청이 들어올 때 발생합니다.