RetailVisionには、店舗ごとに240個のパーソナライゼーションモデル（それぞれ約120MB）があり、クエリはまれにしか実行されません（モデルあたりのリクエスト間隔は数分）。現在、各モデルを個別のエンドポイントとしてホストしていますが、これはコストがかかります。モデルが最初にリクエストされたときの許容可能なコールドスタートレイテンシーを維持しながら、コストを最小限に抑えるために統合したいと考えています。このシナリオでコストを削減するための最適なSageMakerホスティングアプローチは何ですか？

このシナリオでは、各モデルが個別のエンドポイントとしてホストされており、クエリがまれであるため、コストが高くなります。単一のSageMakerマルチモデルエンドポイントを使用すると、複数のモデルを同じインスタンスでホストできるため、インスタンス数を大幅に削減できます。モデルアーティファクトをS3に保存し、コンテナがオンデマンドでモデルをメモリにロードすることで、コールドスタートレイテンシーを許容しつつ、多くの低トラフィックモデルを統合できます。EC2インスタンスに置き換える方法は、SageMakerの管理上の利点を失い、240個のモデルをすべてメモリにロードするのは非効率的です。240個の異なるマルチコンテナエンドポイントは、依然として多くのエンドポイント管理オーバーヘッドを発生させます。非同期推論はコールドスタートを回避できますが、各モデルに個別のエンドポイントを維持するため、コスト削減にはつながりません。