Bir şirket, Application Load Balancer arkasında Amazon EC2 örnekleri üzerinde yüksek oranda erişilebilir bir web uygulaması çalıştırmaktadır. CloudWatch metrikleri, trafik arttıkça bazı EC2 örneklerinin çok sayıda bekleyen istek nedeniyle aşırı yüklendiğini göstermektedir. Aşırı yüklenmiş örnekler, diğer örneklere göre hem daha yüksek sayıda işlenmiş isteğe hem de daha uzun yanıt sürelerine sahiptir. Şirket, yeni isteklerin zaten aşırı yüklü olan örneklere yönlendirilmesini istememektedir. Bu gereksinimleri hangi çözüm karşılar?

Application Load Balancer (ALB), varsayılan olarak round robin algoritmasını kullanır. Ancak, bu senaryoda bazı EC2 örnekleri aşırı yüklendiği için round robin, yükü eşit dağıtmayabilir ve zaten aşırı yüklü olan hedeflere daha fazla istek gönderebilir. "En az bekleyen istek" (least outstanding requests) algoritması, en az sayıda bekleyen isteği olan hedeflere yeni istekleri yönlendirerek yükü daha verimli bir şekilde dağıtır. RequestCountPerTarget (hedef başına istek sayısı) ve ActiveConnectionCount (aktif bağlantı sayısı) metrikleri, bir hedefin mevcut yükünü ve bekleyen isteklerini en iyi şekilde yansıtır. Bu nedenle, ALB'nin bu metrikleri kullanarak en az bekleyen istek algoritmasını uygulaması, aşırı yüklenmiş örneklerin daha fazla istek almasını engeller ve genel uygulama performansını iyileştirir. Diğer seçeneklerdeki RequestCount ve TargetResponseTime metrikleri, bekleyen istek sayısını doğrudan ölçmez veya round robin algoritması, aşırı yük sorununu çözmez.