Amazon Athena を使用して Amazon S3 のデータセットをクエリする必要があります。データセットには 800,000 を超える CSV レコードが含まれており、各レコードには 200 の列があり、サイズは約 1.5 MB ですが、ほとんどのクエリは 5 ～ 10 の列にしかアクセスしません。どの形式変換がクエリの実行時間を最小限に抑えますか？

Apache Parquet はカラムナー形式であり、必要な列のみを読み込むため、クエリの実行時間を大幅に短縮できます。このデータセットでは、ほとんどのクエリが5〜10列しかアクセスしないため、Parquet形式は非常に効率的です。JSONとXMLは行ベースの形式であり、クエリが少数の列しか必要としない場合でも、行全体を読み込むため非効率です。GZIP圧縮はストレージを節約しますが、CSV形式は行ベースであるため、クエリのパフォーマンス向上には限界があります。