회사는 매일 S3 버킷에 데이터를 업로드하고 AWS Glue Data Catalog를 사용합니다. 어떤 날에는 모든 데이터가 도착하기 전에 일일 보고서가 실행됩니다. 데이터 엔지니어는 불완전한 데이터를 식별하는 메시지를 기존 Amazon SNS 주제로 최소한의 운영 오버헤드로 보내야 합니다. 어떤 솔루션이 이 요구 사항을 충족합니까?

정답은 데이터 품질 검사를 생성하고 AWS Glue 워크플로를 사용하여 해당 검사를 수행하며, 데이터 세트가 불완전하면 워크플로가 EventBridge 이벤트를 생성하고 EventBridge가 해당 이벤트를 SNS 주제로 전달하도록 구성하는 것입니다. AWS Glue 워크플로는 데이터 추출, 변환 및 로드(ETL) 작업을 오케스트레이션하는 데 적합하며, 데이터 품질 검사를 통합할 수 있습니다. Glue 워크플로에서 직접 EventBridge 이벤트를 생성하여 불완전한 데이터 감지 시 SNS로 알림을 보낼 수 있어 최소한의 운영 오버헤드로 요구 사항을 충족합니다. 오답 1: Apache Airflow는 강력하지만, 이 시나리오에서는 AWS Glue 워크플로가 더 통합적이고 관리형 서비스로서 오버헤드가 적습니다. 오답 2: Amazon EMR은 Spark SQL 작업을 실행하는 데 적합하지만, EMR 클러스터를 배포하고 관리하는 것은 Glue 워크플로에 비해 운영 오버헤드가 더 큽니다. 오답 4: Lambda 함수는 품질 검사를 수행할 수 있지만, 전체 데이터 파이프라인 오케스트레이션에는 AWS Glue 워크플로가 더 적합하며, Lambda 함수만으로는 Glue 데이터 카탈로그와의 통합이 덜 원활할 수 있습니다.