Bir şirket, AWS üzerinde bağımsız mikro hizmetler olarak makine öğrenimi modelleri geliştiriyor. Her mikro hizmet, başlangıçta Amazon S3'ten yaklaşık 1 GB model verisi getirir ve belleğe yükler. Kullanıcılar ML modellerine eşzamansız bir API aracılığıyla erişir ve tekli veya toplu istekler gönderebilir. Şirket yüzlerce kullanıcıya hizmet vermektedir. Kullanım düzenleri düzensizdir: bazı modeller günlerce veya haftalarca boşta kalabilirken, diğerleri binlerce isteklik toplu işler alabilir. Bu gereksinimleri hangi çözüm karşılar?

Doğru cevap, API isteklerini bir Amazon SQS kuyruğuna yönlendirmek ve ML modellerini bu kuyruktan okuyan Amazon ECS hizmetleri olarak dağıtmaktır. SQS, düzensiz ve eşzamansız istekleri yönetmek için idealdir, yük dalgalanmalarını yumuşatır ve sistemin aşırı yüklenmesini önler. ECS, 1 GB model verisini belleğe yükleme gereksinimini karşılayacak esnek ve uzun ömürlü kapsayıcılar sunar. Lambda işlevleri, 1 GB'lık model verisini her çağrıda yüklemek zorunda kalacağı için bu senaryo için uygun değildir ve soğuk başlangıç süreleri performansı olumsuz etkileyebilir. NLB ve ALB doğrudan senkron API çağrıları için tasarlanmıştır, ancak eşzamansız ve düzensiz iş yükleri için SQS daha uygun bir aracıdır. ECS için otomatik ölçeklendirme, hem küme kapasitesini hem de hizmet sayısını SQS kuyruğunun boyutuna göre ayarlayarak maliyet etkinliği ve performansı optimize eder.