us-east-1 bölgesindeki 111122223333 hesabında çalışan bir fintech girişimi olan FinSight, yoğun belge işleme için bir SageMaker asynchronous inference endpoint'i oluşturdu. Gereksinimleri: model kapsayıcısı başına 50 adede kadar eşzamanlı çıkarıma izin vermek ve her eşzamansız çıkarım tamamlandığında (başarılı veya başarısız) bir SNS bildirimi yayınlamak. Her iki gereksinimi de karşılamak için bir ML mühendisi hangi İKİ yapılandırma adımını gerçekleştirmelidir?

İlk doğru seçenek, eşzamanlı çağrı limitini ve SNS bildirimini doğrudan SageMaker Asenkron Çıkarım yapılandırmasında ayarlar. AsyncInferenceClientConfig.MaxConcurrentInvocationsPerInstance = 50 ile model kapsayıcısı başına eşzamanlı çıkarım sayısı belirlenir. AsyncInferenceOutputConfig.NotificationConfig ile ise her çıkarım tamamlandığında (başarılı veya başarısız) belirtilen SNS konusuna bildirim gönderilmesi sağlanır. Bu, sagemaker.amazonaws.com hizmetine SNS konusuna yayınlama izni verilmesini gerektirir. İkinci doğru seçenek, çıkarım sonuçlarının S3'e kaydedilmesi ve S3 olay bildirimleri aracılığıyla SNS entegrasyonunu kullanır. AsyncInferenceOutputConfig.S3OutputPath çıkarım sonuçlarının kaydedileceği S3 yolunu belirtir. Daha sonra, bu S3 yolundaki nesne oluşturma olayları için bir SNS konusuna bildirim göndermek üzere S3 olay bildirimleri yapılandırılır. Bu yaklaşım, SageMaker'ın doğrudan bildirim mekanizmasına ek olarak S3 üzerinden esnek bir bildirim çözümü sunar. Diğer seçenekler yanlıştır çünkü: Standart gerçek zamanlı uç nokta, asenkron çıkarım gereksinimini karşılamaz. MaxConcurrentInvocationsPerModel asenkron çıkarım için geçerli bir yapılandırma değildir ve SNS rolü otomatik bildirim sağlamaz. SageMaker Processing, model çıkarımı için değil, veri işleme için tasarlanmıştır.