한 회사에서 사용자 지정 PyTorch CNN 이미지 분류기를 SageMaker 엔드포인트에서 호스팅하고 있으며, 사용자에게 더 높은 처리량과 더 낮은 지연 시간을 제공하고자 합니다. 성능을 향상시키는 가장 비용 효율적인 방법은 무엇입니까?

SageMaker 호스팅 엔드포인트에서 Amazon Elastic Inference를 활성화하는 것이 가장 비용 효율적인 방법입니다. Elastic Inference는 전체 GPU 인스턴스를 프로비저닝할 필요 없이 딥 러닝 추론 가속을 SageMaker 엔드포인트에 추가할 수 있도록 하여 비용을 절감하면서 처리량과 지연 시간을 개선합니다. 더 많은 레이어와 더 큰/작은 데이터 세트로 CNN을 재학습시키는 것은 모델 성능을 향상시킬 수 있지만, 추론 성능에 직접적인 영향을 미 주지 않으며, 학습 비용이 추가됩니다. 엔드포인트를 여러 GPU가 있는 SageMaker 인스턴스 유형으로 전환하는 것은 성능을 향상시킬 수 있지만, Elastic Inference보다 훨씬 비쌀 수 있습니다.