유전 알고리즘 기반으로 배포된 모델은 예측을 생성하는 데 몇 분이 걸릴 수 있으며, 최대 100MB의 데이터를 포함하는 요청을 처리해야 합니다. 이러한 요구 사항을 충족하면서 운영 오버헤드를 최소화하는 배포 옵션은 무엇입니까?

유전 알고리즘 기반 모델은 예측 생성에 몇 분이 소요되고 최대 100MB의 데이터를 처리해야 하므로, 실시간 응답이 필수적이지 않고 대규모 페이로드를 처리해야 하는 시나리오에 적합한 배포 옵션이 필요합니다. Amazon SageMaker Asynchronous Inference 엔드포인트는 이러한 요구 사항에 최적화되어 있습니다. 이 엔드포인트는 큰 요청 페이로드(최대 1GB)를 지원하고, 긴 처리 시간(최대 1시간)을 허용하며, 요청을 큐에 넣어 비동기적으로 처리함으로써 운영 오버헤드를 최소화합니다. Amazon EC2 인스턴스 또는 Amazon ECS에 직접 배포하는 것은 수동 확장 및 관리 부담이 크고, SageMaker 실시간 엔드포인트는 일반적으로 몇 초 이내의 짧은 지연 시간과 작은 페이로드(최대 5MB)에 최적화되어 있어 현재 시나리오에는 적합하지 않습니다.