某公司在 Amazon SageMaker 中有一个经过训练的 ML 模型，该模型必须以高可用性、最小延迟和处理不可预测的请求突发的能力部署到生产环境中。每个请求的大小在 1 KB 到 3 MB 之间。推理容量必须随需求按比例扩展。公司应如何部署该模型？

正确答案是创建 SageMaker 实时推理端点并启用自动扩缩。Amazon SageMaker 实时推理端点专为高可用性、低延迟和处理不可预测的请求突发而设计，这与公司需求完全匹配。通过启用自动扩缩，SageMaker 可以根据请求量自动调整实例数量，确保推理容量随需求扩展。每个请求的大小（1 KB 到 3 MB）对于实时推理也是合适的。 将模型托管在 Amazon ECS 集群中或在 Amazon EKS 集群上安装 SageMaker Operator 部署模型，虽然可行，但会增加运维复杂性，并且通常不如 SageMaker 托管端点那样无缝地提供自动扩缩和高可用性。在 Spot Instances 上运行推理并使用 ALBRequestCountPerTarget 进行自动扩缩，虽然成本较低，但 Spot Instances 不保证可用性，可能不适合需要最小延迟和高可用性的生产工作负载。