Bir veri mühendisi, değişen iş gereksinimleri nedeniyle 1.000 AWS Glue Data Catalog tablosundaki veri kalitesi kurallarını güncellemelidir. En az operasyonel yük ile bunu başaracak yaklaşım hangisidir?

Binlerce AWS Glue Data Catalog tablosundaki veri kalitesi kurallarını güncellemek için en az operasyonel yükle ve verimli bir şekilde hareket etmek, programatik bir yaklaşım gerektirir. AWS Lambda işlevi oluşturmak ve bu işlevin AWS Glue Data Quality API'sini kullanarak düzenlemeleri yapması, bu senaryo için en uygun çözümdür. Bu yaklaşım, manuel müdahaleyi ortadan kaldırır, otomasyon sağlar ve büyük ölçekli değişiklikleri hızlı ve tutarlı bir şekilde uygular. Diğer seçenekler neden uygun değil: AWS Glue ETL'de bir pipeline oluşturmak ve Lambda ile çağırmak, her tablo için ayrı bir ETL işi veya karmaşık bir yapı gerektirebilir, bu da operasyonel yükü artırır ve daha az verimlidir. Amazon EMR kümesi oluşturmak ve üzerinde pipeline çalıştırmak, EMR kümesinin yönetimi ve maliyeti nedeniyle gereksiz yere operasyonel yükü artırır. Bu tür bir görev için aşırı kaynak kullanımıdır. AWS Management Console'u kullanmak, 1.000 tablo için manuel olarak düzenleme yapmak pratik değildir ve insan hatasına açıktır, bu da operasyonel yükü kabul edilemez derecede artırır.