Amazon Athena 쿼리 속도를 높이기 위해 데이터 엔지니어는 모든 입력 파일이 압축되지 않은 .csv 파일이고 대부분의 쿼리가 단일 열을 선택한다는 것을 발견했습니다. 어떤 변경 사항이 Athena 쿼리 성능을 가장 향상시킬까요?

정답은 데이터 형식을 .csv에서 Apache Parquet으로 변경하고 Snappy 압축을 적용하는 것입니다. Parquet은 열 형식 저장소로, 특정 열만 읽을 때 I/O를 줄여 쿼리 성능을 크게 향상시킵니다. 또한 Parquet은 스키마를 포함하여 Athena가 데이터를 더 효율적으로 처리할 수 있도록 합니다. Snappy 압축은 빠른 압축 및 압축 해제 속도로 인해 쿼리 성능에 미치는 영향을 최소화하면서 저장 공간을 절약하고 데이터 전송량을 줄여줍니다. .csv 파일을 JSON 형식으로 변환하는 것은 열 형식의 이점을 제공하지 않으며, Snappy 압축만 적용하는 것은 파일 크기를 줄이지만 열 형식의 이점을 제공하지 않습니다. gzip 압축은 Snappy보다 압축률이 높지만 압축 해제 속도가 느려 쿼리 성능에 부정적인 영향을 줄 수 있습니다.