데이터 엔지니어는 실시간 스트리밍 데이터를 수집하고 최대 30분 창을 사용하여 시간 기반 분석을 실행해야 합니다. 이 솔루션은 높은 내결함성을 제공하고 운영 오버헤드가 최소화되어야 합니다. 다음 중 이러한 요구 사항을 충족하는 옵션은 무엇입니까?

정답은 실시간 스트리밍 데이터에 대한 시간 기반 분석 및 집계를 위해 설계된 Amazon Managed Service for Apache Flink(이전 명칭: Amazon Kinesis Data Analytics)를 사용하는 것입니다. 이 서비스는 창 함수(예: 텀블링 창)를 지원하여 최대 30분 창에서 시간 기반 분석을 수행하고 여러 유형의 집계를 처리할 수 있습니다. 또한 높은 내결함성을 제공하며 서버리스 특성으로 인해 운영 오버헤드가 최소화됩니다. AWS Lambda 함수는 실시간 데이터 처리에 사용될 수 있지만, 스트리밍 데이터에 대한 복잡한 창 기반 집계 로직을 직접 구현하고 관리하는 것은 더 많은 개발 및 운영 오버헤드를 발생시킬 수 있습니다. 특히 이벤트 타임스탬프 기반의 텀블링 창 집계를 Lambda로 구현하는 것은 상태 관리 및 내결함성 측면에서 복잡합니다. Amazon Managed Service for Apache Flink는 이러한 기능을 내장하여 더 효율적이고 관리하기 쉬운 솔루션을 제공합니다.