Bir şirket her gün bir S3 bucket'ına veri yükler ve AWS Glue Data Catalog'u kullanır. Bazı günler günlük rapor, tüm veriler gelmeden önce çalışır. Veri mühendisi, eksik verileri tanımlayan bir mesajı mevcut bir Amazon SNS topic'ine minimum operasyonel yük ile göndermelidir. Bu ihtiyacı hangi çözüm karşılar?

Doğru cevap, veri kalitesi kontrollerini AWS Glue iş akışları ile entegre etmektir. AWS Glue Data Catalog zaten kullanıldığı için, Glue iş akışları mevcut altyapıya doğal bir uzantıdır ve minimum operasyonel yük sağlar. İş akışı içinde veri eksikliği tespit edildiğinde bir EventBridge olayı tetiklenebilir. EventBridge, bu olayı doğrudan bir SNS konusuna yönlendirebilir, bu da veri mühendisine eksik veriler hakkında otomatik bildirim gönderilmesini sağlar. Diğer seçenekler daha fazla operasyonel yük getirir veya mevcut AWS Glue Data Catalog kullanımına daha az entegredir. Apache Airflow veya Amazon EMR kümeleri dağıtmak, ek yönetim ve maliyet gerektirir. Lambda işlevleri ve Step Functions kullanmak da mümkündür, ancak Glue iş akışları, Glue Data Catalog ile daha sıkı entegrasyon sunduğundan bu senaryo için daha verimli bir çözümdür.