한 회사에서 여러 계정의 VPC 플로우 로그를 단일 S3 버킷으로 중앙 집중화합니다. 로그는 gzip으로 압축된 텍스트 파일로 저장되며 무기한 보관해야 합니다. 분석가들은 이러한 로그에 대해 임시 Athena 쿼리를 실행하지만, 로그 볼륨이 증가함에 따라 쿼리 성능이 저하되고 있습니다. 쿼리 성능을 개선하고 스토리지 사용량을 줄여야 합니다. 어떤 변경 사항이 가장 큰 성능 향상을 제공할까요?

정답은 VPC 플로우 로그 전송을 재구성하여 Apache Parquet 형식으로 파일을 작성하고 시간별 파티션을 사용하여 구성하는 것입니다. Parquet은 열 형식 스토리지로, Athena 쿼리가 필요한 열만 읽어 I/O를 줄이고 쿼리 성능을 크게 향상시킵니다. 또한 Parquet은 gzip보다 더 효율적인 압축을 제공하여 스토리지 사용량을 줄입니다. 시간별 파티셔닝은 Athena가 스캔해야 하는 데이터 양을 제한하여 쿼리 속도를 더욱 높입니다. 오답: Lambda 함수를 사용하여 bzip2로 다시 압축하는 것은 스토리지 사용량을 약간 줄일 수 있지만, 행 형식 데이터는 여전히 쿼리 성능 병목 현상을 일으킵니다. S3 Transfer Acceleration은 업로드 속도를 향상시키지만 쿼리 성능과는 관련이 없습니다. S3 Intelligent-Tiering은 비용을 최적화하지만 쿼리 성능을 직접적으로 개선하지는 않습니다. 새 Athena 작업 그룹을 생성하고 Athena 엔진 버전 2를 사용하는 것은 약간의 성능 향상을 제공할 수 있지만, 데이터 형식 및 파티셔닝 최적화만큼 큰 영향을 미치지는 않습니다.