Bir şirketin Amazon S3'te 10-15 TB sıkıştırılmamış .csv dosyası var ve Amazon Athena kullanarak tek seferlik bir değerlendirme yapmayı planlıyor. Şirket, sorgu sürelerini azaltmak ve depolama maliyetlerini düşürmek için verileri dönüştürmek istiyor. Athena sorguları için bu gereksinimleri en iyi karşılayan dosya formatı ve sıkıştırma seçimi hangisidir?

Snappy ile sıkıştırılmış Apache Parquet formatı, Athena sorguları için en iyi performansı ve maliyet etkinliğini sağlar. Parquet, sütun tabanlı bir depolama formatıdır, bu da Athena'nın yalnızca sorgulanan sütunları okuyarak I/O maliyetlerini ve sorgu sürelerini önemli ölçüde azaltmasını sağlar. Snappy, hızlı sıkıştırma ve açma oranları sunarak sorgu performansını daha da artırır. Sıkıştırılmamış .csv dosyaları, sütun tabanlı optimizasyonlardan yoksundur ve daha fazla veri okuma gerektirir. bzip2 ile sıkıştırılmış JSON, satır tabanlıdır ve bzip2 daha yavaş bir sıkıştırma algoritmasıdır. LZO ile sıkıştırılmış Apache Avro da satır tabanlıdır ve Parquet'in sunduğu sütun tabanlı okuma avantajına sahip değildir.