BrightDrive, düşük trafikli gerçek zamanlı bir GPU uç noktasını maliyet tasarrufu amacıyla SageMaker Serverless Inference ile değiştirmek istiyor. Eşzamanlılığı kontrol etmeleri ve gecikme süresi ödünleşimlerini anlamaları gerekiyor. Sunucusuz yapılandırmanın ve kalıcı bir gerçek zamanlı uç noktaya kıyasla ödünleşimlerin en doğru tanımını hangi ifade yapmaktadır?

Doğru seçenek, SageMaker Serverless Inference'ın temel özelliklerini ve kalıcı bir gerçek zamanlı uç noktaya göre avantajlarını ve dezavantajlarını doğru bir şekilde açıklar. Serverless Inference, maliyet etkinliği için aralıklı trafik için tasarlanmıştır ve MaxConcurrency ile bellek boyutu yapılandırmasıyla ölçeklenir. Ancak, sıfırdan ölçeklenirken soğuk başlangıç gecikmesi yaşayabilir. Kalıcı uç noktalar ise GPU'ları destekler ve daha düşük, daha tutarlı gecikme süresi sunar. Diğer seçenekler yanlıştır çünkü: Provisioned Concurrency, Serverless Inference'ta GPU'ları desteklemez ve soğuk başlangıçları tamamen ortadan kaldırmaz. Serverless Inference'ın eşzamanlılık ayarları vardır ve tek bir çağrı ile sınırlı değildir. Son olarak, Serverless Inference, MaxConcurrency ayarlanmış olsa bile kalıcı bir uç nokta ile aynı p99 gecikmesini garanti etmez ve soğuk başlangıçlar yaşanabilir.