고트래픽 웹사이트가 EC2에서 실행되며 Kinesis Data Streams를 사용하여 웹 로그를 수집합니다. EC2에 있는 Kinesis 소비자 앱은 데이터 급증 시 지연되어 레코드가 손실됩니다. 운영 오버헤드를 최소화하면서 스트림 처리를 개선하는 솔루션은 무엇입니까?

정답은 Kinesis 소비자를 수평 확장하고 스트림 보존 기간을 늘리는 것입니다. GetRecords.IteratorAgeMilliseconds 지표는 소비자가 얼마나 뒤처져 있는지 나타내므로, 이 지표를 기반으로 EC2 인스턴스를 추가하면 데이터 급증 시 처리량을 늘려 레코드 손실을 방지할 수 있습니다. Kinesis 스트림 보존 기간을 늘리면 소비자가 지연되더라도 데이터를 처리할 시간을 더 확보할 수 있습니다. S3에 로그를 저장하고 EMR을 사용하는 것은 실시간 처리 요구 사항에 맞지 않으며, Lambda로 마이그레이션하는 것은 운영 오버헤드를 줄일 수 있지만, 기존 EC2 기반 소비자의 문제를 직접적으로 해결하지 못합니다. Kinesis 데이터 스트림에 샤드를 추가하는 것은 생산자 측 처리량을 늘리지만, 소비자 처리량 부족 문제를 직접 해결하지 못합니다.