한 회사에서 초당 수 기가바이트를 수집하고 기존 BI 도구를 활용하여 Amazon Kinesis Data Streams 및 Amazon Redshift를 사용한 거의 실시간 분석을 원합니다. 스트리밍 데이터를 즉시 분석할 수 있도록 하면서 운영 오버헤드를 최소화하는 옵션은 무엇입니까?

이 옵션은 Amazon Redshift 스트리밍 수집 기능을 활용하여 Kinesis Data Streams의 데이터를 거의 실시간으로 분석합니다. 외부 스키마를 생성하여 Kinesis 스트림을 Redshift에 연결하고, 스트림 데이터를 읽는 구체화된 뷰(materialized view)를 생성합니다. 이 뷰를 자동 새로 고침으로 설정하면 데이터가 Redshift로 지속적으로 로드되어 거의 실시간 분석이 가능하며, 운영 오버헤드가 최소화됩니다. 다른 옵션들은 다음과 같은 이유로 최적이 아닙니다. Kinesis Data Streams에서 S3로 스테이징 후 COPY 명령을 사용하는 것은 추가적인 지연 시간을 발생시켜 '거의 실시간' 요구 사항을 충족하기 어렵습니다. SQL 쿼리로 Kinesis Data Streams에 직접 접근하고 materialized view를 생성하는 것은 Redshift의 기본 스트리밍 수집 기능이 아닌 다른 접근 방식이며, Redshift가 Kinesis 스트림을 직접 쿼리하는 기능은 없습니다. Kinesis Data Firehose를 사용하여 S3를 경유하는 방식은 S3에 데이터를 버퍼링하는 과정에서 지연이 발생하여 '거의 실시간' 분석에 적합하지 않습니다.