Amazon SageMaker의 프로덕션 ML 파이프라인은 최대 1GB의 입력을 처리하고 최대 1시간 동안 실행될 수 있는 작업을 처리하지만, 애플리케이션은 거의 실시간 응답을 요구합니다. 어떤 SageMaker 추론 옵션이 가장 적절할까요?

비동기 추론은 큰 페이로드(최대 1GB)를 처리하고 실행 시간이 긴(최대 1시간) 작업을 지원하면서도, 거의 실시간 응답을 요구하는 애플리케이션에 가장 적합합니다. 이는 요청을 큐에 넣고 비동기적으로 처리하여 응답 지연을 최소화하기 때문입니다. 실시간 추론은 작은 페이로드와 낮은 지연 시간에 적합하며, 서버리스 추론은 간헐적인 트래픽에 효율적이지만 큰 페이로드에는 제한적입니다. 배치 변환은 대규모 데이터 세트의 오프라인 처리에 사용되므로 거의 실시간 응답에는 부적합합니다.