데이터 엔지니어가 경제 지표를 제공하는 AWS Data Exchange 제품에 S3 버킷을 구독했습니다. 엔지니어는 수신되는 경제 데이터를 Amazon Athena의 기존 테이블과 조인하고 30~60분 이내에 모든 변환을 완료해야 합니다. 이러한 요구 사항을 충족하는 비용 효율적인 솔루션은 무엇입니까?

정답은 S3 이벤트와 Lambda 함수를 사용하여 AWS Glue 작업을 트리거하는 것입니다. AWS Data Exchange 구독 시 데이터는 S3 버킷에 직접 전달됩니다. S3 이벤트 알림을 사용하여 새 데이터가 도착할 때 Lambda 함수를 자동으로 호출할 수 있습니다. 이 Lambda 함수는 AWS Glue 작업을 시작하여 S3의 새 경제 데이터를 Athena 테이블과 조인하고 변환하며, 결과를 S3에 다시 저장합니다. AWS Glue는 서버리스 ETL 서비스로, 30~60분 이내에 대규모 데이터 변환을 효율적으로 처리할 수 있으며, Athena는 S3 데이터를 직접 쿼리할 수 있어 비용 효율적입니다. 오답인 Kinesis Data Streams 및 Firehose는 실시간 스트리밍 시나리오에 더 적합하며, 여기서는 S3에 이미 데이터가 있으므로 불필요한 복잡성을 추가합니다. SageMaker Data Wrangler는 데이터 준비 도구이지만, Lambda 함수 내에서 직접 통합하여 대규모 ETL 작업을 자동화하기에는 Glue가 더 적합합니다. Amazon Redshift는 데이터 웨어하우스 솔루션으로, 이 시나리오의 비용 효율성 요구 사항에 비해 과도하게 프로비저닝될 수 있습니다.