MediLex, bir NLP çıkarım API'si için bir SageMaker gerçek zamanlı uç noktası (ml.m5.large örnekleri) işletmektedir. CloudWatch metrikleri, son yoğun 5 dakikalık aralıkta dakikada ortalama 800 çağrı bildirdi ve InvocationsPerInstance metriği dakikada 100 çağrıydı. Uç nokta şu anda 8 örnek üzerinde çalışmaktadır. SRE ekibi, aynı örnek başına yükü (hedef örnek başına 150 çağrı) korurken aynı yoğun trafiği karşılamak için doğru boyutlandırma yapmak istiyor. CloudWatch InvocationsPerInstance veya toplu çağrı verilerini kullanarak, örnek başına 150 çağrı hedefine ulaşmak için kaç örnek sağlamaları gerekir?

Mevcut durumda, uç nokta 8 örnek üzerinde çalışırken dakikada 800 çağrı alıyor. Bu, örnek başına dakikada 800 çağrı / 8 örnek = 100 çağrı anlamına gelir. SRE ekibi, örnek başına hedef çağrı sayısını 150 olarak belirlemiştir. Aynı yoğun trafiği (dakikada 800 çağrı) karşılamak ve örnek başına 150 çağrı hedefine ulaşmak için gereken örnek sayısı 800 çağrı / 150 çağrı/örnek = 5.33'tür. Örnek sayıları tam sayı olmak zorunda olduğundan, bu yükü karşılamak için yukarı yuvarlama yaparak 6 örneğe ihtiyaç duyulur. Bu, mevcut 8 örnekten daha azdır, çünkü her bir örneğin daha yüksek bir yükü kaldırabileceği varsayılmaktadır. Diğer seçenekler ya yetersiz (4 örnek) ya da gereksiz fazla (8 veya 10 örnek) kapasite sağlar.