Bir ML mühendisi, Amazon SageMaker uç noktasının arkasındaki bir çıkarım bileşeni için, model başına dakikada 100 çağrı hedef izleme politikasıyla otomatik ölçeklendirmeyi yapılandırır. Uç nokta mesai saatleri içinde normal şekilde ölçeklenir, ancak her iş gününün başlangıcında istekleri karşılayacak hiçbir örnek (instance) mevcut değildir ve bu da gecikmelere neden olur. Mühendis, her iş gününün başlangıcında uç noktanın gelen istekleri karşılayabildiğinden nasıl emin olmalıdır?

Doğru cevap, iş gününün başlangıcındaki ani talep artışını karşılamak için önceden ölçeklendirme yapmayı sağlar. Bir CloudWatch alarmı tarafından tetiklenen adım ölçeklendirme politikası, belirli bir eşiğe ulaşıldığında örnek sayısını hızla artırabilir. İkinci bir CloudWatch alarmı ve ölçeklendirme politikası, her iş gününün başlangıcında minimum örnek sayısını sıfırdan bire (veya daha fazlasına) değiştirerek uç noktanın her zaman hazır olmasını sağlar. Diğer seçenekler bu sorunu çözmez: Otomatik ölçeklendirme bekleme süresini azaltmak veya yaşam döngüsü kancaları eklemek, başlangıçtaki ani talebi karşılamak için yeterli ön ölçeklendirme sağlamaz. Hedef metriği CPU kullanımına değiştirmek, gecikmeli ölçeklendirmeye neden olabilir, çünkü CPU kullanımı genellikle istekler geldikten sonra yükselir. Hedef değeri bire ayarlamak, ölçeklendirme politikasının etkinliğini azaltır ve ani talep artışlarını yönetmek için esnek değildir.