ある企業は、Amazon SageMakerでトレーニングされたMLモデルを、高可用性、最小限のレイテンシー、および予測不可能なリクエストのバーストを処理できる能力を備えて本番環境でホストする必要があります。各リクエストは1KBから3MBの間です。推論キャパシティは需要に比例してスケーリングする必要があります。会社はどのようにモデルをデプロイすべきですか？

SageMakerリアルタイム推論エンドポイントは、高可用性、低レイテンシー、および予測不可能なリクエストのバーストに対応するのに最適です。オートスケーリングを有効にすることで、需要に応じて自動的にキャパシティを調整し、コスト効率も高まります。ECSやEKSでのホスティングはより複雑な管理が必要で、SageMakerの統合された利点を活かせません。Spot Instancesはコスト削減に役立ちますが、中断される可能性があり、低レイテンシーが求められる本番環境には不向きです。