Inżynier danych musi zorganizować zestaw zadań ETL w Pythonie, które obejmują uruchamianie zadań Spark na Amazon EMR, wywoływanie interfejsów API Salesforce i ładowanie danych do Amazon Redshift. Organizacja powinna automatycznie obsługiwać ponowne próby i awarie. Której usługi AWS powinien użyć inżynier?

Amazon MWAA to w pełni zarządzana usługa Apache Airflow, która doskonale nadaje się do orkiestracji złożonych potoków danych. Umożliwia definiowanie zadań ETL w Pythonie jako DAG-ów (Directed Acyclic Graphs), które mogą obejmować uruchamianie zadań Spark na EMR, wywoływanie interfejsów API i ładowanie danych do Redshift. Airflow ma wbudowane mechanizmy obsługi ponownych prób i awarii, co jest kluczowe dla niezawodności. AWS Step Functions jest przeznaczone do orkiestracji bezserwerowych przepływów pracy, ale jego model oparty na maszynach stanów może być mniej elastyczny dla złożonych potoków danych opartych na Pythonie niż Airflow. AWS Glue to usługa ETL bezserwerowa, ale skupia się głównie na transformacji danych, a nie na orkiestracji złożonych, wieloetapowych przepływów pracy z różnymi typami zadań. Amazon EventBridge to bezserwerowa magistrala zdarzeń, służąca do routingu zdarzeń między różnymi usługami, a nie do orkiestracji potoków ETL.