Bir modelin, ertesi günün hisse senedi değerlerini tahmin etmek için her gece bir kez çalışması gerekiyor. Giriş verisi, o gün toplanan 3 MB boyutunda ve çıkarım 1 dakikadan kısa sürede tamamlanıyor. Bu gereksinimleri karşılamak için bu modeli Amazon SageMaker'da nasıl dağıtmalısınız?

Doğru cevap, sunucusuz bir inference endpoint kullanmak ve MaxConcurrency değerini 1 olarak ayarlamaktır. Sunucusuz endpoint'ler, modelin yalnızca gerektiğinde çalışmasını sağlayarak maliyetleri optimize eder ve günlük bir çalıştırma için idealdir. 3 MB'lık giriş verisi ve 1 dakikadan kısa çıkarım süresi, sunucusuz endpoint'lerin kapasitesine uygundur. MaxConcurrency'yi 1 olarak ayarlamak, modelin her seferinde tek bir çıkarım isteğini işlemesini sağlar, bu da günlük tek bir çalıştırma gereksinimiyle uyumludur. Diğer seçenekler: Çok modelli sunucusuz bir endpoint, birden fazla modeli aynı endpoint'te barındırmak için kullanılır ve bu senaryoda gereksizdir. Önbelleğe alma, her gün yeni verilerle çıkarım yapıldığı için fayda sağlamaz. Asenkron bir inference endpoint, uzun süreli veya toplu çıkarım için tasarlanmıştır ve günlük tek bir çalıştırma için aşırı karmaşıktır. InitialInstanceCount'ı 0 olarak ayarlamak, modelin ilk isteği işleme süresini uzatabilir. Gerçek zamanlı bir endpoint ve 0'a ölçeklenecek otomatik ölçeklendirme politikası, sürekli istekler için daha uygundur ve sunucusuz endpoint'e göre daha fazla yönetim yükü getirebilir.