Firma codziennie przesyła dane do zasobnika S3 i korzysta z AWS Glue Data Catalog. Czasami dzienny raport uruchamia się, zanim wszystkie dane dotrą. Inżynier danych musi wysłać wiadomość identyfikującą wszelkie niekompletne dane do istniejącego tematu Amazon SNS przy minimalnym nakładzie operacyjnym. Które rozwiązanie spełnia te wymagania?

Poprawna odpowiedź minimalizuje nakład operacyjny, wykorzystując istniejące usługi AWS. AWS Glue Workflows może uruchamiać kontrole jakości danych, a w przypadku niekompletnych danych może wygenerować zdarzenie EventBridge. EventBridge jest następnie konfigurowany do przekazywania tego zdarzenia do tematu SNS, co jest prostym i bezserwerowym rozwiązaniem. Pozostałe opcje są mniej optymalne: Apache Airflow (zarządzany przez AWS) jest potężny, ale wprowadza dodatkową złożoność operacyjną i koszty w porównaniu do Glue Workflows dla tego konkretnego przypadku użycia. Amazon EMR z Spark SQL i Step Functions to również solidne rozwiązanie, ale EMR jest bardziej kosztowny i wymaga większego zarządzania niż Glue Workflows dla prostych kontroli jakości. Funkcje Lambda z Step Functions są wykonalne, ale wymagają ręcznego kodowania logiki kontroli jakości w Lambdzie, podczas gdy Glue Workflows oferuje bardziej zintegrowane podejście do przetwarzania danych i metadanych.