한 회사에서 클라우드 기반 데이터 소스(Amazon RDS 및 Redshift와 같은 구조화된 소스와 S3의 반구조화된 파일)를 위한 중앙 집중식 데이터 카탈로그 및 메타데이터 관리가 필요합니다. 카탈로그는 정기적으로 새로 고쳐져야 하며 최소한의 운영 오버헤드로 메타데이터 변경 사항을 감지해야 합니다. 어떤 솔루션이 이러한 요구 사항을 충족할까요?

AWS Glue Data Catalog는 다양한 AWS 데이터 스토어(Amazon RDS, Redshift, S3 등)의 메타데이터를 저장하고 관리하는 데 최적화된 완전 관리형 서비스입니다. AWS Glue 크롤러는 이러한 소스에 자동으로 연결하여 스키마를 검색하고 메타데이터 변경 사항을 감지하여 Data Catalog를 정기적으로 업데이트할 수 있습니다. 이는 최소한의 운영 오버헤드로 중앙 집중식 카탈로그를 유지하는 가장 효율적인 방법입니다. Amazon Aurora 또는 DynamoDB를 사용자 지정 데이터 카탈로그로 사용하는 것은 메타데이터 수집 및 업데이트 로직을 직접 구현해야 하므로 운영 오버헤드가 훨씬 더 큽니다. 마지막 오답은 S3 데이터에만 크롤러를 사용하고 RDS 및 Redshift에 대해서는 수동으로 스키마를 추출하는 비효율적인 접근 방식을 제안합니다.