한 회사에 Amazon S3에 10~15TB의 압축되지 않은 .csv 파일이 있으며, Amazon Athena를 사용하여 일회성 평가를 실행할 계획입니다. 이 회사는 쿼리 시간을 줄이고 스토리지 비용을 낮추기 위해 데이터를 변환하고자 합니다. Athena 쿼리에 대한 이러한 요구 사항을 가장 잘 충족하는 파일 형식 및 압축 선택은 무엇입니까?

Snappy로 압축된 Apache Parquet 형식은 Athena 쿼리 성능을 최적화하고 스토리지 비용을 절감하는 데 가장 적합합니다. Parquet은 열 형식 저장소로, Athena가 쿼리에 필요한 특정 열만 읽을 수 있게 하여 I/O를 줄이고 쿼리 속도를 높입니다. Snappy 압축은 빠른 압축 및 압축 해제 속도를 제공하여 쿼리 성능에 미치는 영향을 최소화하면서 스토리지 공간을 효율적으로 절약합니다. .csv 형식은 행 기반이며 압축 효율성이 낮아 쿼리 성능과 스토리지 비용 측면에서 비효율적입니다. JSON은 유연하지만 Parquet만큼 쿼리 성능에 최적화되어 있지 않습니다. Avro는 행 기반 형식으로, Parquet의 열 기반 이점을 제공하지 않습니다. LZO는 Snappy보다 압축 해제 속도가 느릴 수 있습니다.