1日のうちでリクエストレートが不均一な、トレーニング済みモデルをホストする必要があります。ホスティングはピークデマンドに合わせてスケールし、アイドル時のコストを最小限に抑える必要があります。これらの制約を満たすホスティングアプローチはどれですか？

このアプローチは、SageMakerエンドポイントのオートスケーリング機能を利用することで、ピークデマンドに合わせてインスタンス数を自動的に増やし、アイドル時にはインスタンス数を減らしてコストを最小限に抑えます。CloudWatchメトリクスに基づいてスケーリングポリシーを設定することで、リクエストレートの不均一性に対応できます。 固定された同時実行数を持つAWS Lambda関数は、コールドスタートの問題や、モデルサイズによってはメモリや実行時間の制限に直面する可能性があります。AWS Fargate上のAmazon ECSクラスターで静的な数のタスクを実行すると、ピーク負荷に合わせてサイズ設定した場合、アイドル時のコストが無駄になります。Application Load Balancerの背後でモデルの複数のコピーをホストするだけでは、オートスケーリングの機能がないため、需要の変動に効率的に対応できません。