Bir ML mühendisi, iki kaynaktan gelen haftalık verileri birleştirmeli ve dönüştürmelidir: S3'teki büyük CSV dosyaları (her biri milyonlarca satır içerir) ve bir Amazon Aurora kümesi. Birleştirilmiş çıktı başka bir S3 bucket'ına yazılmalıdır. Bu işlemi EN AZ operasyonel yük ile sağlayan seçenek hangisidir?

AWS Glue, sunucusuz bir veri entegrasyon hizmetidir ve büyük veri dönüşüm işleri için tasarlanmıştır. Apache Spark motorunu kullanarak milyonlarca satırlık veriyi işleyebilir ve DynamicFrame'ler, şema çıkarımı ve ETL (Extract, Transform, Load) işlemleri için optimize edilmiştir. Haftalık olarak zamanlanabilir ve operasyonel yükü en aza indirir çünkü altyapı yönetimi AWS tarafından yapılır. Diğer seçenekler neden doğru değil: Amazon EMR geçici kümelerle çalışsa da, EMR kümesini sağlamak ve yönetmek Glue'dan daha fazla operasyonel yük getirir. AWS Lambda'nın Spark kodu çalıştırması mümkün değildir ve büyük veri işleme için uygun değildir; işlem süresi ve bellek kısıtlamaları vardır. AWS Batch, EC2 örnekleri üzerinde Spark kodu çalıştırabilir ancak EC2 örneklerinin yönetimi, Glue'a kıyasla daha fazla operasyonel yük ve manuel yapılandırma gerektirir.