ShopScale, bir Experiment altında düzinelerce SageMaker eğitim işi (yerleşik XGBoost ile script modu) çalıştırıyor. Her eğitim işi, her epoch'ta 'validation:accuracy' metriğini TrialComponent'a kaydeder. ML ekibinin, dağıtım için en iyi çalıştırmayı seçmek amacıyla Experiment'taki tüm deneme bileşenlerinde 10. epoch'taki validation:accuracy değerini karşılaştıran otomatik bir programatik rapora ihtiyacı var. Bu metriği çalıştırmalar arasında toplamak için en doğrudan, programatik yolu hangi yaklaşım sağlayacaktır?

Doğru cevap, SageMaker Experiments Python SDK'sının TrialComponentAnalytics'ini kullanmaktır çünkü bu araç, SageMaker Experiments içinde kaydedilen metrikleri programatik olarak sorgulamak ve karşılaştırmak için özel olarak tasarlanmıştır. Bu SDK, belirli bir epoch'taki metrikleri filtreleme ve toplu analiz yapma yeteneği sunarak, en iyi çalıştırmayı seçmek için gereken karşılaştırmalı raporu doğrudan oluşturmanızı sağlar. Diğer seçenekler neden yanlış: CloudWatch Metrics'i doğrudan sorgulamak, metrik adlarını ve epoch'ları eşleştirmek için ek karmaşık bir mantık gerektirir ve SageMaker Experiments'ın sunduğu entegrasyonu ve kolaylığı sağlamaz. Tüm eğitim günlüklerini S3'e aktarıp bir Glue ETL işi çalıştırmak, gereksiz yere karmaşık ve zaman alıcı bir çözümdür. SageMaker Experiments zaten bu verileri yapılandırılmış bir şekilde tutmaktadır. SageMaker Model Monitor, modelin dağıtıldıktan sonraki performansını izlemek için kullanılır, eğitim sırasında kaydedilen metrikleri karşılaştırmak için uygun bir araç değildir.