Bir veri mühendisi, aylık eğitim verilerini Amazon Redshift'ten Amazon S3'e çıkarır. Kaynak şema TransactionTimestamp (timestamp), CardName (varchar) ve CardNo (varchar) içerir. Mühendis, (1) CardNo = NULL olan satırları kaldırmalı, (2) TransactionTimestamp'ı TransactionDate ve TransactionTime olarak ayırmalı ve (3) CardName'i NameOnCard olarak yeniden adlandırmalıdır. Çözüm, altyapı kurulumunu en aza indirmeli, aylık olarak otomatikleştirilmeli ve Redshift kümesi üzerindeki yükü minimumda tutmalıdır. Hangi çözüm bu gereksinimleri karşılar?

Doğru cevap, AWS Glue'nun bu senaryo için en uygun çözüm olmasından kaynaklanmaktadır. AWS Glue, sunucusuz bir ETL hizmetidir ve altyapı kurulumunu en aza indirir. Redshift'ten veri okuyabilir, gerekli dönüşümleri (CardNo = NULL olan satırları filtreleme, TransactionTimestamp'ı ayırma ve CardName'i yeniden adlandırma) yerleşik dönüşümlerle kolayca uygulayabilir ve çıktıyı S3'e yazabilir. Ayrıca, aylık olarak otomatikleştirilebilir bir iş planlama yeteneği sunar ve Redshift kümesi üzerindeki yükü minimumda tutar, çünkü ETL işlemleri Glue ortamında gerçekleşir. Diğer seçenekler neden yanlış: Amazon EMR kümesi sağlamak, altyapı kurulumu gerektirir ve sunucusuz bir çözüm değildir. Bir SQL istemcisi ile manuel olarak sorgu çalıştırmak ve dosyayı yüklemek otomatikleştirilmiş bir çözüm değildir ve manuel çaba gerektirir. Amazon Redshift Spectrum, Redshift'in dış verileri sorgulamasına olanak tanır, ancak doğrudan S3'e yazma ve karmaşık dönüşümleri kolayca uygulama yeteneği kısıtlıdır. Ayrıca, Redshift kümesi üzerinde işlem yükü oluşturabilir.