한 회사에 Apache Parquet 형식의 로그 파일 10TB가 Amazon S3 버킷에 저장되어 있으며, 가끔 이 로그 파일에 대해 SQL 쿼리를 실행해야 합니다. 가장 비용 효율적인 솔루션은 무엇입니까?

정답은 AWS Glue 크롤러와 Amazon Athena를 사용하는 것입니다. Athena는 서버리스 쿼리 서비스로, S3에 저장된 데이터를 직접 SQL로 쿼리할 수 있어 대규모 로그 파일 분석에 매우 비용 효율적입니다. AWS Glue 크롤러는 S3 데이터의 스키마를 자동으로 감지하여 Athena가 쿼리할 수 있는 메타데이터(Glue Data Catalog)를 생성합니다. 오답 설명: Amazon Aurora MySQL 데이터베이스는 OLTP(온라인 트랜잭션 처리)에 적합하며, 10TB의 로그 데이터를 마이그레이션하고 저장하는 데 비용이 많이 들고 복잡합니다. Amazon Redshift는 데이터 웨어하우징 솔루션이지만, Redshift Spectrum을 사용하더라도 Redshift 클러스터 자체를 유지하는 비용이 Athena보다 높을 수 있습니다. 또한, Redshift Spectrum은 Athena와 유사하게 S3 데이터를 직접 쿼리하지만, 클러스터 관리 오버헤드가 있습니다. Amazon EMR 클러스터는 빅 데이터 처리에 강력하지만, 클러스터를 프로비저닝하고 관리해야 하므로 가끔 실행되는 쿼리에는 비용 효율적이지 않습니다. Athena는 서버리스이므로 쿼리 실행 시에만 비용이 발생합니다.