Bir ekip, Amazon SageMaker üzerinde GPU'lar ile bir CNN eğitti ve gerçek zamanlı mineral görüntü tanımlaması için bir SageMaker endpoint'ine dağıtacak. Beklenen trafik düzenini zaten biliyorlar ve en iyi instance tipini ve yapılandırmasını seçmeleri gerekiyor. Doğru instance yapılandırmasını seçmek için en az geliştirme çabası gerektiren yaklaşım hangisidir?

Doğru cevap, SageMaker Inference Recommender'ın Gelişmiş (Advanced) iş tipini kullanmaktır. Bu özellik, modelinizi ve kapsayıcınızı SageMaker Model Registry'ye kaydettikten sonra, bilinen trafik düzeninizi yük testi için kullanarak en uygun instance tipini ve yapılandırmasını otomatik olarak önerir. Bu, manuel yük testi ve deneme yanılma yöntemlerine kıyasla en az geliştirme çabası gerektiren yaklaşımdır. Varsayılan (Default) iş tipi daha az özelleştirme sunar ve genellikle daha genel kullanım durumları için tasarlanmıştır. Açık kaynak araçlarla manuel yük testi yapmak, önemli ölçüde daha fazla geliştirme ve operasyonel çaba gerektirir ve bu nedenle en az çaba gerektiren seçenek değildir. Modeli CPU instance'lara dağıtmak, GPU'larla eğitilmiş bir CNN için performans açısından uygun olmayacaktır.