데이터 엔지니어는 S3 버킷 및 RDS 데이터베이스를 포함하는 엔터프라이즈 데이터 카탈로그를 생성해야 하며, 카탈로그에는 스토리지 형식 메타데이터가 포함되어야 합니다. 어떤 솔루션이 가장 적은 노력을 필요로 할까요?

AWS Glue 크롤러는 S3 버킷과 RDS 데이터베이스를 스캔하여 데이터 스키마와 메타데이터를 자동으로 감지하고 AWS Glue Data Catalog에 저장합니다. 특히, AWS Glue 크롤러 분류기(Classifier)는 데이터의 형식(예: CSV, JSON, Parquet)을 자동으로 식별하고 해당 정보를 카탈로그에 기록하므로 수동 작업 없이도 스토리지 형식 메타데이터를 포함하는 포괄적인 데이터 카탈로그를 구축할 수 있습니다. 첫 번째 옵션은 수동 작업이 필요하여 노력 측면에서 비효율적입니다. 세 번째 옵션인 Amazon Macie는 민감한 데이터 감지에 초점을 맞추며 데이터 카탈로그 생성 및 스토리지 형식 메타데이터 관리를 위한 주된 도구가 아닙니다. 네 번째 옵션인 사용자 지정 스크립트는 개발 및 유지보수에 상당한 노력이 필요합니다.