Bir şirket, bir Amazon S3 bucket'ında depolanan CSV dosyalarının hacmini büyük ölçüde artırdı. Veri dönüştürme betikleri ve sorguları çok daha yavaş hale geldi. Bir ML mühendisi, en az operasyonel yük ile sorgu performansı için verileri optimize eden bir çözüm uygulamalıdır. Hangi seçenek bu gereksinimi karşılar?

Doğru cevap, .csv dosyalarını Apache Parquet formatına dönüştürmek için bir AWS Glue ETL işi yapılandırmaktır. Parquet, sütun tabanlı bir depolama formatıdır ve sıkıştırma ile sorgu performansını önemli ölçüde artırır. AWS Glue, sunucusuz bir ETL hizmeti olduğundan operasyonel yükü en aza indirir. CSV dosyalarını daha küçük nesnelere bölmek performansı artırabilir ancak Parquet kadar etkili değildir ve ek yönetim gerektirir. Dize türü değerlere sahip sütunları bırakmak veri kaybına yol açar ve genellikle bir optimizasyon stratejisi değildir. Amazon EMR kümesi, büyük veri işleme için güçlü olsa da, AWS Glue'a kıyasla daha yüksek operasyonel yük ve yönetim gerektirir.