ml.m5.xlarge 인스턴스에서 내장 Image Classification 모델을 실행하는 SageMaker 엔드포인트에서 허용할 수 없는 추론 지연 시간이 발생하고 있으며, ModelLatency가 주요 원인입니다. 여러 사용자가 동시에 엔드포인트를 호출하면 지연 시간이 악화됩니다. 이러한 연구원들을 위해 추론 지연 시간을 줄일 수 있는 조치는 무엇입니까?

추론 지연 시간은 모델 추론에 필요한 계산 리소스가 부족할 때 발생합니다. Amazon Elastic Inference(EI) 가속기는 GPU 기반의 추론 가속기로, 엔드포인트 인스턴스에 연결하여 딥러닝 모델의 추론 성능을 크게 향상시킬 수 있습니다. 이는 특히 Image Classification과 같은 모델에서 효과적이며, ModelLatency를 줄이는 데 직접적인 해결책이 됩니다. ml.t3 버스터블 인스턴스로 전환하는 것은 일반적으로 성능 저하를 가져올 수 있으며, Autopilot은 모델 튜닝 도구이지 실시간 추론 성능 최적화 도구가 아닙니다. 메모리 최적화 인스턴스는 메모리 집약적인 작업에 적합하지만, 추론 지연 시간의 주요 원인이 ModelLatency인 경우 GPU 가속이 더 효과적입니다.