모니터링 시스템이 매분 1TB의 지표 레코드를 Amazon S3에 기록합니다. 분석가는 Amazon Athena를 사용하여 이 데이터를 쿼리하지만, 데이터 볼륨 때문에 쿼리가 느립니다. S3에 저장된 어떤 파일 형식이 Athena 쿼리 성능을 향상시킬까요?

Parquet 파일은 열 기반 저장 형식으로, Athena 쿼리 성능을 크게 향상시킵니다. Parquet은 필요한 열만 읽어 I/O 작업을 줄이고, 데이터 압축 및 인코딩 효율이 높아 저장 공간을 절약하며 쿼리 속도를 높입니다. CSV 파일은 행 기반 형식으로, 특정 열을 쿼리할 때 전체 행을 읽어야 하므로 비효율적입니다. 압축된 JSON 파일은 여전히 행 기반이며, Parquet만큼 효율적인 압축 및 열 선택 기능을 제공하지 않습니다. RecordIO 파일은 주로 Apache MXNet과 같은 딥러닝 프레임워크에서 사용되는 형식으로, 분석 쿼리에는 적합하지 않습니다. 따라서 대규모 데이터 분석에는 Parquet이 최적의 선택입니다.