한 보안 벤더가 전 세계 수천 개의 엔드포인트로부터 30초마다 텔레메트리를 수신합니다. 레코드는 약 1KB이며 50개의 필드를 포함합니다. 데이터는 Kinesis Data Streams로 수집되며, 7~12개의 필드를 읽는 Athena 쿼리를 위해 시간별 요약이 생성되어야 합니다. 수집된 데이터를 변환하고 저장하는 데 가장 적은 사용자 지정이 필요한 접근 방식은 무엇입니까?

Kinesis Data Analytics는 Kinesis Data Streams에서 스트리밍 데이터를 실시간으로 처리하고 분석하는 데 최적화된 완전 관리형 서비스입니다. SQL 쿼리를 사용하여 시간별 집계를 쉽게 수행할 수 있으며, 변환된 요약은 Kinesis Data Firehose를 통해 S3에 저장되어 Athena 쿼리에 활용될 수 있습니다. 이 방식은 사용자 지정 코드를 최소화하면서 요구 사항을 충족합니다. AWS Lambda를 사용하는 옵션은 시간별 집계 로직을 직접 구현해야 하므로 더 많은 사용자 지정이 필요합니다. Kinesis Data Firehose는 데이터 전송 서비스이며, 자체적으로 복잡한 집계나 변환을 수행하기 어렵습니다. EMR 클러스터를 시작하는 옵션은 관리 오버헤드가 크고, 단기 클러스터라도 시작 및 종료 시간이 추가되어 실시간 처리에 적합하지 않을 수 있습니다.