한 회사에서 Amazon Kinesis Data Streams를 사용하여 실시간으로 로그 데이터를 수집하고 있으며, Amazon Redshift에서 실시간 쿼리를 실행하고 로그를 보강하려고 합니다. Redshift로 데이터를 가져오는 데 운영 오버헤드가 가장 적은 수집 방법은 무엇입니까?

Kinesis Data Streams에서 Amazon Redshift 스트리밍 수집을 사용하고 데이터를 구체화된 뷰로 표시하는 것이 가장 적은 운영 오버헤드로 실시간 로그 데이터를 Redshift로 가져오는 방법입니다. 이 방식은 Redshift가 Kinesis Data Streams에서 직접 데이터를 소비하여 실시간 쿼리를 가능하게 하며, 구체화된 뷰를 통해 성능을 최적화할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. Kinesis Data Firehose를 Redshift로 직접 보내는 것은 가능하지만, Firehose는 중간 버퍼링을 거쳐 마이크로 배치로 데이터를 전송하므로 진정한 실시간 스트리밍에는 한계가 있습니다. Kinesis Data Firehose를 S3로 보내고 Redshift가 S3에서 데이터를 로드하는 방식은 추가적인 지연을 발생시키고, Redshift가 S3에서 데이터를 주기적으로 로드하는 스케줄링 및 관리 오버헤드가 발생합니다. Amazon Managed Service for Apache Flink를 사용하여 Redshift로 직접 데이터를 보내는 것은 가능하지만, Flink 애플리케이션 개발 및 관리에 대한 추가적인 운영 오버헤드가 발생할 수 있습니다.