ある ML エンジニアが、Amazon SageMaker エンドポイントの背後にある推論コンポーネントのオートスケーリングを、モデルあたり毎分 100 回の呼び出しをターゲットとするターゲット追跡ポリシーで設定しています。エンドポイントは営業時間中は正常にスケーリングされますが、各営業日の開始時にリクエストを処理できるインスタンスがゼロになり、遅延が発生します。エンジニアは、各営業日の開始時にエンドポイントが受信リクエストを処理できるようにするにはどうすればよいでしょうか？

正解は、Amazon CloudWatch アラームによって駆動されるステップスケーリングポリシーを使用し、2 番目の CloudWatch アラームとスケーリングポリシーを追加して、各営業日の開始時に最小インスタンス数をゼロから 1 に変更することです。これは、営業開始時のリクエスト急増に対応するため、事前にインスタンスをプロビジョニングする最も効果的な方法です。ターゲット追跡ポリシーは、メトリクスに基づいて動的にスケーリングしますが、急激なトラフィック増加には対応が遅れることがあります。CloudWatch アラームとステップスケーリングポリシーを組み合わせることで、特定の時間帯に最小インスタンス数を増やすことができ、ウォームアップ時間を確保して遅延を防ぎます。クールダウン期間の短縮やCPU使用率への変更は、根本的な問題解決にはなりません。ターゲット値を1に設定しても、最小インスタンス数がゼロであれば、起動時の遅延は解決しません。