Müşteri verileri günlük olarak sıkıştırılmış, tarihe göre bölümlenmiş dosyalar halinde S3'te depolanır. Analistler her ay sonuçları indirir, doğrular ve QuickSight'a yükler. Mühendisin, QuickSight'a gönderilmeden önce veri kalitesini EN AZ operasyonel yük ile otomatik olarak kontrol etmesi gerekmektedir. Hangi çözüm en uygunudur?

Doğru cevap, AWS Glue Data Quality kurallarını kullanarak veri kalitesini otomatik olarak kontrol etmek için en az operasyonel yükü sağlar. AWS Glue Data Quality, veri kalitesi kurallarını tanımlamanıza ve bu kuralları otomatik olarak uygulamanıza olanak tanır. Bu, veri kalitesi kontrollerini doğrudan veri kataloğu düzeyinde entegre ederek manuel çabayı ve özel kod yazma ihtiyacını ortadan kaldırır. Diğer seçenekler neden yanlış: AWS Glue işi ve PySpark DataFrame kullanmak, özel kod yazmayı ve bakımını gerektirir, bu da operasyonel yükü artırır. AWS Lambda fonksiyonunda Python betikleri çalıştırmak, özel kod geliştirme ve yönetimi gerektirir. Ayrıca, S3'e nesne eklendiğinde tetiklenen Lambda fonksiyonu günlük çalışacakken, gereksinim aylık kontrolü belirtmektedir. Amazon SQS ve Amazon CloudWatch Insights kullanmak, veri kalitesi değerlendirmesi için doğrudan bir çözüm değildir. CloudWatch Insights, log analizi için kullanılır ve veri kalitesi kurallarını uygulamak için uygun değildir.