Bir telekomünikasyon şirketi, destek hattını aradıklarında iptal etme olasılığı yüksek olan müşterileri belirlemek için bir bölgeden alınan birkaç yıllık verilerle eğitilmiş bir modeli dağıttı. Şirket küresel bir ürün piyasaya sürecek ve modelin, eğitim verisi olmayan bölgelerden gelen birçok aramayı yanlışlıkla uzman bir ekibe yönlendirmesinden endişe ediyor. Bu riski en etkili şekilde ele alan yaklaşım nedir?

Doğru cevap, SageMaker Model Monitor'ın veri yakalama, taban çizgisi oluşturma ve izleme yeteneklerini kullanarak modelin performansındaki sapmaları proaktif olarak tespit etmeyi ve ardından modeli yeniden eğiterek bu sapmaları düzeltmeyi önerir. Bu yaklaşım, modelin eğitim verisi olmayan bölgelerdeki yeni verilerle karşılaştığında ortaya çıkabilecek veri kayması (data drift) sorununu en etkili şekilde ele alır. Model Monitor, üretimdeki verilerin eğitim verisi taban çizgisinden ne kadar saptığını sürekli olarak değerlendirir ve bu sapma belirli bir eşiği aştığında CloudWatch aracılığıyla uyarı vererek erken müdahaleye olanak tanır. Diğer seçenekler ise ya daha az kapsamlıdır (örneğin, sadece hata ayıklayıcı veya manuel izleme) ya da sorunu tespit etme ve düzeltme konusunda daha az otomatiktir. SageMaker Debugger, eğitim sırasında modelin içsel davranışlarını izlemek için kullanılırken, Model Monitor üretimdeki modelin performansını ve veri kalitesini izlemek için tasarlanmıştır. Uzman ekip aramalarını manuel olarak izlemek ve doğruluğu hesaplamak, ölçeklenebilir ve otomatik bir çözüm değildir. CloudWatch günlüklerini S3'e göndermek ve manuel karşılaştırma yapmak da Model Monitor'ın sunduğu otomatik veri kayması tespiti ve uyarı mekanizmalarından yoksundur.