Bir iş ortağı her gün bir Amazon S3 bucket'ına bir veri dosyası bırakır. Bir AWS Glue ETL işi, dosyayı günlük olarak temizler ve dönüştürür ve sonucu başka bir S3 bucket'ındaki Daily.csv dosyasına yazar. Bazen gelen dosya boş olur veya eksik gerekli alanlar içerir; bu durumda şirket bir önceki günün CSV'sini korumak ister. Mühendis, önceki günün dosyasının yalnızca yeni günlük dosya eksiksiz ve geçerli olduğunda üzerine yazılmasını sağlamalıdır. Bu çözümü en az çabayla hangisi başarır?

Doğru cevap, AWS Glue Data Quality'yi etkinleştirmek ve DQDL kuralları yazmaktır. AWS Glue Data Quality, veri kalitesi kontrollerini doğrudan ETL iş akışına entegre etmenin en verimli yoludur. DQDL kuralları ile boş dosyaları veya eksik gerekli alanları kolayca tanımlayabilir ve bu koşullar karşılandığında çıktının yazılmasını engelleyebilirsiniz. Bu, önceki günün geçerli verilerinin korunmasını sağlar. Diğer seçenekler daha fazla çaba gerektirir veya istenen sonucu tam olarak karşılamaz: AWS Lambda işlevi tetiklemek ek bir bileşen ve karmaşıklık getirir. AWS Glue Studio'daki ETL kodunu değiştirmek, eksik alanları doldurmak yerine geçersiz dosyaları tamamen reddetmek istendiği için uygun değildir. Amazon Athena SQL sorgusu çalıştırmak, verileri okumak ve temizlemek için kullanılabilir ancak dosyanın üzerine yazma mantığını doğrudan kontrol etmez ve Glue ETL iş akışına entegre değildir.