Ein Dateningenieur muss eine Pipeline orchestrieren, die eine einzelne AWS Lambda-Funktion gefolgt von einem AWS Glue-Job umfasst und AWS-verwaltete Dienste nutzen muss. Welcher Ansatz erreicht dies mit dem geringsten Betriebsaufwand?

Eine AWS Step Functions State Machine ist die beste Wahl, da sie eine serverlose Orchestrierung bietet und den geringsten Betriebsaufwand erfordert. Sie kann direkt eine Lambda-Funktion aufrufen und anschließend einen AWS Glue-Job starten, was eine native Integration und einfache Fehlerbehandlung ermöglicht. Die Bereitstellung von Apache Airflow auf Amazon EC2 oder EKS würde einen erheblichen Betriebsaufwand für die Verwaltung der Airflow-Infrastruktur bedeuten, was der Anforderung an geringen Betriebsaufwand widerspricht. Ein AWS Glue-Workflow ist zwar eine Option, ist aber primär für die Orchestrierung von Glue-spezifischen Aufgaben konzipiert. Obwohl er Lambda-Funktionen aufrufen kann, ist Step Functions die flexiblere und leistungsfähigere Lösung für die Orchestrierung verschiedener AWS-Dienste in einer sequenziellen oder komplexeren Logik.