Ein Unternehmen führt mehrere ETL-Workflows aus, die Daten aus operativen Datenbanken in einen S3 Data Lake ziehen. Diese Workflows verwenden AWS Glue und Amazon EMR. Das Unternehmen möchte eine automatisierte Orchestrierung hinzufügen und gleichzeitig den manuellen Aufwand und den Betriebs-Overhead minimieren. Welche Lösung erfüllt diese Ziele mit dem geringsten Betriebs-Overhead?

AWS Step Functions ist die beste Wahl, da es eine serverlose Workflow-Orchestrierung bietet, die AWS Glue- und Amazon EMR-Jobs nativ integrieren kann. Dies minimiert den Betriebs-Overhead erheblich, da keine Server verwaltet werden müssen. AWS Glue Workflows sind zwar nützlich, aber weniger flexibel für komplexe, mehrstufige Orchestrierungen über verschiedene Dienste hinweg. AWS Lambda-Funktionen sind für kurzlebige, ereignisgesteuerte Aufgaben konzipiert und müssten für die Orchestrierung komplexer ETL-Pipelines aufwendig kombiniert werden. Amazon MWAA bietet zwar leistungsstarke Orchestrierung, erfordert aber mehr Betriebsaufwand für die Verwaltung der Airflow-Umgebung, selbst wenn sie verwaltet wird.