ある企業は、Amazon S3 に 10～15 TB の非圧縮 .csv ファイルを保存しており、Amazon Athena を使用して一度限りの評価を実行する予定です。この企業は、クエリ時間を短縮し、ストレージコストを削減するためにデータを変換したいと考えています。Athena クエリのこれらの要件を最も満たすファイル形式と圧縮の選択肢はどれですか？

Snappyで圧縮されたApache Parquet形式は、クエリ時間を短縮し、ストレージコストを削減するのに最適です。Parquetは列指向のストレージ形式であり、Athenaがクエリに必要な列のみを読み込むため、I/Oが大幅に削減され、クエリパフォーマンスが向上します。Snappyは高速な圧縮アルゴリズムであり、データの読み込み速度を損なうことなくストレージを最適化します。 zipで圧縮された.csv形式は行指向であり、クエリのたびに全行をスキャンする必要があるため、非効率的です。bzip2で圧縮されたJSON形式も行指向であり、bzip2はSnappyよりも圧縮率が高いですが、解凍に時間がかかります。LZOで圧縮されたApache Avro形式は行指向であり、Parquetのような列指向の利点はありません。