Bir veri bilimcisinin şirket içi bir ETL sürecini AWS'ye taşıması gerekiyor. Mevcut süreç belirli bir programa göre çalışır ve sonraki işler için birkaç büyük veri kaynağını tek bir birleştirilmiş çıktıya dönüştürmek ve biçimlendirmek için PySpark kullanır. Bulut çözümü için gereksinimler şunlardır: birden çok kaynağı birleştirmek, mevcut PySpark kodunu yeniden kullanmak, mevcut programa göre çalıştırmak ve yönetilecek sunucu sayısını en aza indirmek. Hangi mimari bu gereksinimleri karşılar?

Doğru cevap, mevcut PySpark kodunu yeniden kullanma, programlı çalıştırma ve yönetilecek sunucu sayısını en aza indirme gereksinimlerini karşıladığı için AWS Glue'dur. AWS Glue, sunucusuz bir ETL hizmetidir ve PySpark kodunu doğrudan çalıştırabilir. Bir AWS Glue tetikleyicisi, işin belirli bir programa göre çalışmasını sağlar. Amazon EMR kalıcı bir küme gerektirir ve sunucu yönetimi içerir. AWS Lambda, PySpark'ı doğrudan çalıştırmak için uygun değildir ve PySpark mantığının Python'da yeniden yazılmasını gerektirir. Amazon Kinesis Data Analytics, akış verileri için tasarlanmıştır ve mevcut PySpark kodunu yeniden kullanma gereksinimini karşılamaz.