보안 회사는 디바이스 펌웨어 업데이트에 따라 스키마가 변경될 수 있는 IoT JSON 데이터를 Amazon S3에 저장합니다. 분석 팀은 이 데이터의 인덱싱을 위한 데이터 카탈로그가 필요합니다. 카탈로그를 제공하고 진화하는 스키마를 처리하기 위한 가장 비용 효율적인 솔루션은 무엇입니까?

이 솔루션은 AWS Glue Data Catalog와 AWS Glue Schema Registry를 결합하여 변화하는 스키마를 가진 IoT JSON 데이터를 효율적으로 관리합니다. Glue Data Catalog는 S3 데이터에 대한 메타데이터를 저장하고, Schema Registry는 스키마 변경을 자동으로 감지하고 관리하여 스키마 진화에 대한 유연성을 제공합니다. AWS Glue 작업은 S3에서 Redshift Serverless로 데이터를 수집하는 데 사용되어 서버리스 아키텍처의 비용 효율성과 확장성을 활용합니다. Amazon Redshift 프로비저닝된 클러스터 옵션은 프로비저닝된 리소스의 비용 부담이 있으며, Redshift Spectrum은 S3 데이터 직접 쿼리에는 좋지만 데이터 카탈로그 및 스키마 진화 관리에 대한 명확한 솔루션을 제공하지 않습니다. Amazon Athena 워크그룹 옵션은 데이터 카탈로그를 직접 생성하지 않으며, Spark를 통한 탐색은 추가적인 복잡성을 수반할 수 있습니다. AWS Lambda 및 Step Functions를 사용하는 마지막 옵션은 Glue Job에 비해 오케스트레이션 및 스키마 관리 측면에서 더 복잡하고 비용 효율성이 떨어질 수 있습니다.