一位 ML 工程師為 Amazon SageMaker 端點後方的推論元件設定了自動擴展，其目標追蹤政策為每個模型每分鐘 100 次調用。該端點在營業時間內正常擴展，但在每個工作日開始時，卻沒有可用的實例來處理請求，導致延遲。工程師應如何確保端點在每個工作日開始時都能處理傳入請求？

正確答案是使用由 Amazon CloudWatch 警報驅動的步進擴展政策，並新增第二個 CloudWatch 警報和擴展政策，以便在每個工作日開始時將最小實例計數從零更改為一。這解決了在工作日開始時沒有可用實例的問題，因為它會在流量高峰期之前主動預熱端點。透過在預期的流量增加之前將最小實例計數設定為一，可以確保在請求到達時立即有實例準備好處理它們，從而避免延遲。 將自動擴展冷卻時間縮短到允許的最小值，並新增自動擴展生命週期掛鉤以擴展 SageMaker 實例，雖然有助於更快的擴展，但無法解決在沒有任何實例的情況下啟動的問題。將目標指標更改為 CPU utilization 可能會改變擴展行為，但不會解決初始啟動延遲。將擴展政策目標值設定為一，這會導致在達到一個呼叫時就擴展，這不是一個實用的解決方案，因為它會導致不必要的擴展和成本。