Bir medya şirketinin, tek bir şehirdeki okuyucular için düşük gecikmeli makale önerilerine ihtiyacı var. Trafik, tahmin edilebilir zamanlarda (sabah, öğle yemeği, iş çıkışı) zirve yapıyor ve diğer zamanlarda düşük seyrediyor. Çıkarım yanıtları 4 MB'ın altında. Hangi dağıtım seçeneği gecikmeyi en aza indirir ve en uygun maliyetlidir?

Doğru cevap, düşük gecikme gereksinimini karşılamak ve maliyeti optimize etmek için ayrılmış eşzamanlılığa sahip sunucusuz çıkarımdır. Sunucusuz çıkarım, yalnızca kullanıldığında ödeme yaparak maliyet etkinliği sağlar ve ayrılmış eşzamanlılık, tahmin edilebilir trafik zirvelerinde bile cold-start gecikmesini ortadan kaldırır. Otomatik ölçeklendirmeli gerçek zamanlı çıkarım uç noktası, cold-start gecikmesi yaşayabilir ve sunucusuz seçenekten daha pahalı olabilir. Asenkron çıkarım ve toplu dönüştürme işleri, düşük gecikme gereksinimini karşılamaz çünkü istekler anında işlenmez.