금융 서비스 회사가 Amazon S3에 서버리스 데이터 레이크를 구축하고 있습니다. 이 데이터 레이크는 Amazon Athena 및 Redshift Spectrum을 사용하여 오래된 S3 데이터와 새로운 S3 데이터를 쿼리할 수 있어야 하고, 이벤트 기반 ETL 파이프라인을 지원해야 하며, 손쉬운 메타데이터 검색을 제공해야 합니다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇입니까?

정답은 AWS Glue 크롤러를 사용하여 S3 데이터를 카탈로그화하고, AWS Lambda로 AWS Glue ETL 작업을 트리거하며, AWS Glue Data Catalog를 메타데이터 검색에 사용하는 것입니다. AWS Glue 크롤러는 S3 데이터를 자동으로 검색하고 스키마를 추론하여 Glue Data Catalog에 저장하므로 Athena 및 Redshift Spectrum에서 쿼리할 수 있습니다. Lambda를 통한 Glue ETL 작업 트리거는 이벤트 기반 ETL 파이프라인을 지원하며, Glue Data Catalog는 메타데이터 검색을 위한 중앙 집중식 저장소 역할을 합니다. 오답 1은 외부 Apache Hive metastore를 사용하는데, 이는 AWS Glue Data Catalog가 제공하는 통합 및 관리 용이성을 제공하지 않습니다. 오답 2와 3은 AWS Batch를 사용하여 ETL 작업을 처리하는데, 이는 서버리스 ETL 요구 사항에 덜 적합하며, AWS Glue ETL 작업이 더 효율적입니다. 또한 오답 3은 CloudWatch 경보를 통해 트리거하는데, 이는 이벤트 기반 트리거링에 Lambda보다 덜 유연합니다.