Bir şirket, birçok hesaptan gelen VPC flow log'larını tek bir S3 bucket'ında merkezileştiriyor. Log'lar gzip ile sıkıştırılmış metin dosyaları olarak depolanır ve süresiz olarak saklanmalıdır. Analistler bu log'lar üzerinde anlık Athena sorguları çalıştırır, ancak log hacmi arttıkça sorgu performansı düşmektedir. Hem sorgu performansını artırmanız hem de depolama kullanımını azaltmanız gerekmektedir. Hangi değişiklik EN BÜYÜK performans iyileştirmesini sağlayacaktır?

Doğru cevap, VPC akış günlüğü teslimini Apache Parquet formatında yazacak ve saatlik bölümler kullanarak düzenleyecek şekilde yeniden yapılandırmaktır. Parquet, sütun tabanlı bir depolama formatı olduğundan, Athena sorgularının yalnızca ihtiyaç duyduğu sütunları okuyarak sorgu performansını önemli ölçüde artırır ve depolama alanından tasarruf sağlar. Saatlik bölümler, Athena'nın sorgu kapsamını daraltmasına olanak tanıyarak taranan veri miktarını azaltır ve performansı daha da iyileştirir. Diğer seçenekler: Gzip dosyalarını bzip2 ile yeniden sıkıştırmak depolama alanını biraz azaltabilir ancak sorgu performansını önemli ölçüde artırmaz çünkü format hala satır tabanlı metin olacaktır. S3 Transfer Acceleration yükleme hızını artırır, ancak mevcut verilerin sorgu performansını etkilemez. S3 Intelligent-Tiering maliyet optimizasyonu sağlar ancak sorgu performansını doğrudan iyileştirmez. Yeni bir Athena çalışma grubu ve Athena motor sürüm 2 kullanmak faydalı olsa da, temel veri formatı ve bölümleme stratejisi kadar büyük bir performans iyileştirmesi sağlamaz.