Firma uruchamia wysoce dostępną aplikację internetową na instancjach Amazon EC2 za Application Load Balancerem. Metryki CloudWatch pokazują, że wraz ze wzrostem ruchu niektóre instancje EC2 stają się przeciążone wieloma oczekującymi żądaniami. Przeciążone instancje mają zarówno większą liczbę przetworzonych żądań, jak i dłuższe czasy odpowiedzi niż inne instancje. Firma nie chce, aby nowe żądania były kierowane do instancji, które są już przeciążone. Które rozwiązanie spełnia te wymagania?

Poprawna odpowiedź to użycie algorytmu najmniejszej liczby oczekujących żądań (Least Outstanding Requests) opartego na metrykach CloudWatch RequestCountPerTarget i ActiveConnectionCount. Application Load Balancer (ALB) domyślnie używa algorytmu najmniejszej liczby oczekujących żądań, który kieruje nowe żądania do celu z najmniejszą liczbą żądań w trakcie przetwarzania. Metryki RequestCountPerTarget i ActiveConnectionCount bezpośrednio odzwierciedlają obciążenie instancji, pozwalając ALB na inteligentne rozłożenie ruchu. Algorytm round robin rozdziela ruch równomiernie, nie uwzględniając aktualnego obciążenia instancji, co prowadziłoby do dalszego przeciążenia. Metryki RequestCount i TargetResponseTime są ogólne i nie są bezpośrednio wykorzystywane przez ALB do algorytmów routingu w kontekście obciążenia poszczególnych celów.