Bir şirket, AWS üzerinde yeni bir makine öğrenimi çözümü geliştiriyor. Modeller, başlangıçta Amazon S3'ten yaklaşık 1 GB model verisi indirip belleğe yükleyen bağımsız mikro hizmetler olarak uygulanır. Kullanıcılar modellere eşzamansız bir API aracılığıyla erişir: bir istek veya bir dizi istek gönderir ve sonuçların nereye gönderileceğini belirtirler. Yüzlerce kullanıcı, düzensiz kullanım modelleriyle modelleri kullanacak; bazı modeller günler veya haftalar boyunca boşta kalabilirken, diğerleri binlerce isteğin ani artışlarını alabilir. Bir çözümler mimarı bu gereksinimleri karşılamak için hangi tasarımı önermelidir?

Doğru cevap, API isteklerini bir SQS kuyruğuna yönlendirmek ve modelleri bu kuyruktan okuyan Amazon ECS hizmetleri olarak dağıtmaktır. Düzensiz kullanım modelleri ve ani istek artışları için SQS, istekleri tamponlayarak ve iş yükünü dengeleyerek sistemi korur. ECS, 1 GB model verisini belleğe yükleyebilecek esnekliğe sahip kapsayıcılı ortam sağlar. AWS Auto Scaling'i hem ECS kümesi hem de hizmet kopyaları için SQS kuyruk boyutuna göre etkinleştirmek, maliyet etkinliği ve performansı optimize eder. Diğer seçenekler şunlar için uygun değildir: NLB ve Lambda: Lambda'nın 1 GB model verisini belleğe yüklemesi maliyetli ve karmaşık olabilir. Ayrıca, Lambda'nın eşzamansız işleme için SQS gibi bir kuyruğa ihtiyacı vardır. ALB, ECS ve SQS: ALB doğrudan SQS ile entegre olmaz. AWS App Mesh, ölçeklendirme için uygun bir araç değildir; daha çok trafik yönetimi ve gözlemlenebilirlik içindir. SQS ve Lambda: Lambda, 1 GB model verisini her çağrıda indirip belleğe yüklemek zorunda kalacağı için verimsiz ve pahalı olacaktır. Lambda'nın vCPU sayısını artırmak yerine, daha büyük bellek ve CPU gerektiren iş yükleri için ECS daha uygundur.