Bir havayolu şirketi, talebe göre bilet fiyatlarını ayarlamak için bir SageMaker gerçek zamanlı endpoint'i kullanıyor. Önceki dağıtımlar, web sitesi trafiği arttığında yeterince hızlı ölçeklenemedi. ML mühendisinin, ani trafik artışlarına hızla yanıt vermek için hedef izlemeli otomatik ölçeklendirmeyi yapılandırması gerekiyor. Hangi yapılandırma en hızlı yanıtı verir?

En hızlı yanıtı sağlamak için yüksek çözünürlüklü metrikler ve kısa aralıklar esastır. Yüksek çözünürlüklü 10 saniyelik aralıklarla SageMaker InvocationsPerInstance metriğini kullanmak, sistemin ani trafik artışlarını en hızlı şekilde algılamasını sağlar. Varsayılan 300 saniyelik scale-in cooldown süresini korumak, gereksiz ölçeklendirme olaylarını önlerken, ölçeklendirme politikasının hızlı bir şekilde tepki vermesine olanak tanır. Diğer seçenekler, ya standart çözünürlüklü metrikler (daha yavaş algılama) ya da daha uzun scale-in cooldown süreleri (ölçeklenmiş örneklerin daha uzun süre beklemesi) kullanarak tepki süresini uzatır.