Bir raporlama sistemi her gün yüzlerce .csv dosyasını bir Amazon S3 bucket'ına teslim eder. Şirket, bu dosyaları Apache Parquet'e dönüştürmeli ve sonuçları dönüştürülmüş bir veri bucket'ında depolamalıdır. En AZ geliştirme çabasıyla bu gereksinimi karşılayacak çözüm hangisidir?

AWS Glue, veri dönüşümü için yönetilen bir ETL hizmetidir ve en az geliştirme çabasıyla bu senaryo için en uygun çözümdür. Bir Glue crawler, S3'teki CSV dosyalarının şemasını otomatik olarak keşfeder ve bir AWS Glue Data Catalog tablosu oluşturur. Ardından, bir Glue ETL işi, bu veriyi Apache Parquet formatına dönüştürmek ve dönüştürülmüş S3 bucket'ına yazmak için Python veya Scala'da yazılabilir. Bu, sunucusuz bir yaklaşımdır ve altyapı yönetimi gerektirmez. Diğer seçenekler daha fazla geliştirme veya yönetim çabası gerektirir: Amazon EMR, Spark uygulamaları için güçlü olsa da, bir küme yönetimi ve Spark uygulaması geliştirme gerektirir. AWS Batch, Bash betikleri için kullanılabilir ancak veri dönüşümü için Glue'dan daha az optimize edilmiş ve daha fazla manuel yapılandırma gerektirir. AWS Lambda, küçük dosyalar için uygun olabilir ancak yüzlerce CSV dosyasını işlemek için ölçeklenebilirlik ve bellek/zaman sınırları nedeniyle karmaşık hale gelebilir ve daha fazla kod geliştirme gerektirir.