온라인 소매업체는 ALB 액세스 로그를 S3에 저장하고 Amazon Athena를 사용하여 쿼리합니다. 엔지니어는 파티션되지 않은 Athena 테이블을 생성했으며, 데이터 볼륨이 증가함에 따라 쿼리 응답 시간이 길어졌습니다. 운영 노력을 최소화하면서 Athena 쿼리 성능을 향상시킬 수 있는 접근 방식은 무엇입니까?

정답은 AWS Glue 크롤러를 생성하여 분류자를 사용해 ALB 액세스 로그의 스키마를 결정하고 파티션 메타데이터를 AWS Glue Data Catalog에 쓰는 것입니다. Athena 쿼리 성능을 향상시키는 가장 효과적인 방법 중 하나는 데이터를 파티셔닝하는 것입니다. AWS Glue 크롤러는 S3에 저장된 데이터를 자동으로 스캔하고, 스키마를 추론하며, 파티션 구조를 식별하여 AWS Glue Data Catalog에 메타데이터를 기록합니다. 이 메타데이터는 Athena가 쿼리 시 필요한 데이터만 스캔하도록 하여 쿼리 성능을 크게 향상시킵니다. 오답 설명: AWS Glue 작업을 생성하는 것은 수동으로 스키마를 추론하고 파티션 메타데이터를 작성해야 하므로 운영 노력이 더 많이 듭니다. 크롤러는 이 과정을 자동화합니다. ALB 액세스 로그를 Apache Parquet으로 변환하고 Lambda 함수를 사용하는 것은 데이터 형식 변환과 추가적인 컴퓨팅 리소스가 필요하며, 파티셔닝의 직접적인 이점을 제공하지 않습니다. Apache Hive를 사용하여 버킷 테이블을 생성하는 것은 Athena 환경에 직접 통합되지 않으며, AWS Lambda 함수를 통한 변환은 복잡성을 증가시킵니다.