한 회사에서 대용량 전자상거래 클릭스트림 데이터를 위한 거의 실시간(near-real-time) 파이프라인(수집, 처리, 시각화)이 필요합니다. 이 솔루션은 SQL 기반 처리와 대화형 작업을 위한 Jupyter 노트북을 지원해야 합니다. 다음 중 어떤 아키텍처가 이러한 요구 사항을 충족합니까?

정답은 Amazon MSK를 사용하여 데이터를 수집하고, Amazon Managed Service for Apache Flink로 처리하며, Flink의 내장 대시보드를 사용하여 시각화하는 것입니다. MSK는 대용량 스트리밍 데이터 수집에 적합하며, Apache Flink는 거의 실시간 처리에 최적화된 스트림 처리 엔진입니다. Flink는 SQL 기반 처리를 지원하고, Flink Studio를 통해 Jupyter 노트북과 유사한 대화형 개발 환경을 제공하여 요구 사항을 충족합니다. 또한 Flink의 내장 대시보드는 시각화 요구 사항을 직접적으로 해결할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. Kinesis Data Firehose, Lambda, S3 조합은 거의 실시간 처리에는 적합하지만, SQL 기반 처리나 Jupyter 노트북 지원이 부족합니다. Kinesis Data Streams, Data Firehose, Athena, QuickSight 조합은 Athena가 SQL 처리를 제공하지만, 스트림 처리보다는 배치 쿼리에 가깝고, Jupyter 노트북 지원이 직접적이지 않습니다. MSK, AWS Glue, S3, QuickSight 조합은 Glue가 PySpark를 통해 처리를 제공하지만, Flink만큼 거의 실시간 처리에 특화되어 있지 않으며, 대화형 Jupyter 노트북 환경이 Flink Studio만큼 통합적이지 않습니다.