MediaWatch gerçek zamanlı bir video sınıflandırma modeli çalıştırıyor ve model yürütme süresi arttığında uyarı vermek istiyor. Yalnızca artan model kapsayıcı çıkarım süresini tespit etmek için hangi CloudWatch metriği kullanılmalıdır ve bir uç noktanın belirli bir varyantı için sürekli artışları alarm vermek için önerilen yol nedir?

Doğru cevap, model kapsayıcısının çıkarım süresini ölçen AWS/SageMaker 'ModelLatency' metriğini EndpointName ve VariantName boyutlarıyla kullanmaktır. Bu metrik, modelin kendisinin gecikmesini izole eder. Sürekli artışları tespit etmek için, 5 dakikalık bir süre boyunca p90 (veya istenen yüzdelik dilim) istatistiği üzerinde, değerlendirme periyotları 3 olarak ayarlanmış bir CloudWatch alarmı oluşturmak, geçici artışları filtreleyerek kalıcı gecikme sorunlarını yakalar. Diğer seçenekler ya yanlış metrikleri kullanır (örneğin, OverheadLatency veya InvocationDuration farklı gecikme bileşenlerini ölçer) ya da yanlış alarm yapılandırmalarına sahiptir (örneğin, tek veri noktası alarmları veya yanlış istatistikler).