Bir oyun şirketi, Amazon Kinesis Data Streams ile tıklama akışı olaylarını toplar ve JSON dosyalarını Amazon S3'e teslim etmek için Kinesis Data Firehose kullanır. Veri bilimciler, Amazon Athena'da en güncel verileri sorgular. Şirket, mevcut veri işlem hattını yeniden oluşturmadan Athena sorgu maliyetlerini düşürmek istiyor. Bu gereksinimi karşılarken yönetim çabasını en aza indiren seçenek hangisidir?

Doğru seçenek, Kinesis Data Firehose'u Apache Parquet formatında çıktı verecek şekilde yapılandırarak Athena sorgu maliyetlerini düşürmeyi hedefler. Parquet, sütun tabanlı bir depolama formatı olduğundan, Athena'nın yalnızca sorgulanan sütunları okumasını sağlayarak veri tarama miktarını ve dolayısıyla maliyetleri azaltır. YYYYMMDD gibi bir S3 nesne öneki ve büyük bir arabellek boyutu kullanmak, S3'teki dosya sayısını azaltır ve daha büyük, daha verimli Parquet dosyaları oluşturur. Geçmiş veriler için AWS Glue ETL işi kullanmak, mevcut JSON verilerini Parquet'e dönüştürerek geriye dönük uyumluluk sağlar ve ALTER TABLE ADD PARTITION komutu, Athena'nın yeni formatlanmış verilere erişmesini sağlar. Bu yaklaşım, mevcut veri işlem hattını büyük ölçüde yeniden oluşturmadan yönetim çabasını en aza indirir. Diğer seçenekler ya daha fazla yönetim yükü (Spark işi, EMR, Flink) gerektirir ya da Firehose'a Lambda ekleyerek ek karmaşıklık getirir.