한 회사에서 Application Load Balancer 뒤의 Amazon EC2 인스턴스에서 고가용성 웹 애플리케이션을 실행하고 있습니다. CloudWatch 지표에 따르면 트래픽이 증가함에 따라 일부 EC2 인스턴스에 처리되지 않은 요청이 많아 과부하가 발생합니다. 과부하된 인스턴스는 다른 인스턴스보다 처리된 요청 수가 많고 응답 시간도 더 깁니다. 회사는 이미 과부하된 인스턴스로 새 요청이 라우팅되는 것을 원하지 않습니다. 어떤 솔루션이 이러한 요구 사항을 충족할까요?

이 시나리오의 핵심은 과부하된 인스턴스로 새 요청이 라우팅되는 것을 방지하는 것입니다. 최소 미결 요청(Least Outstanding Requests) 라우팅 알고리즘은 현재 처리 중인 요청 수가 가장 적은 대상에 요청을 보냅니다. 이는 과부하된 인스턴스를 피하고 부하를 더 고르게 분산하는 데 효과적입니다. RequestCountPerTarget은 각 대상이 처리한 요청 수를 나타내고, ActiveConnectionCount는 대상에 대한 활성 연결 수를 나타내므로, 이 두 지표를 함께 사용하여 "미결 요청" 상태를 가장 잘 파악할 수 있습니다. 라운드 로빈은 단순히 순서대로 요청을 분배하므로 과부하된 인스턴스를 피할 수 없습니다. RequestCount와 TargetResponseTime은 인스턴스의 현재 부하 상태를 실시간으로 반영하기보다는 이미 처리된 요청 수나 응답 시간을 나타내므로, 새 요청을 라우팅할 때 현재 부하 분산 결정에 덜 적합합니다.