한 회사에 100만 명의 모바일 앱 사용자가 있으며 거의 실시간 데이터 분석이 필요합니다. 데이터는 거의 실시간으로 암호화되어 추가 처리를 위해 Apache Parquet 형식으로 중앙에 저장되어야 합니다. 가장 적은 운영 오버헤드로 이를 제공하는 솔루션은 무엇입니까?

정답은 Kinesis Data Firehose와 Kinesis Data Analytics를 사용하는 것입니다. Kinesis Data Firehose는 스트리밍 데이터를 S3와 같은 대상으로 거의 실시간으로 전송하며, 데이터를 Apache Parquet 형식으로 변환하고 암호화하는 기능을 내장하고 있어 운영 오버헤드가 적습니다. Kinesis Data Analytics는 스트리밍 데이터를 SQL 또는 Apache Flink를 사용하여 거의 실시간으로 분석할 수 있는 완전 관리형 서비스입니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. Kinesis Data Streams는 Firehose보다 더 많은 관리 오버헤드를 필요로 하며, Parquet 변환 및 암호화 기능을 내장하고 있지 않습니다. Amazon EMR 클러스터는 분석을 위해 서버를 관리해야 하므로 운영 오버헤드가 더 큽니다. Lambda 함수를 사용하여 데이터를 EMR로 보내는 것은 불필요한 복잡성을 추가합니다.