Ein Dateningenieur hat eine AWS Glue ETL-Pipeline erstellt und muss eine Tabelle in Microsoft SQL Server crawlen, dann die Crawl-Ausgabe nach S3 schreiben und die Pipeline orchestrieren. Welches AWS-Feature bietet diese Funktionalität zu den niedrigsten Kosten?

AWS Glue Workflows sind die kostengünstigste Option, da sie speziell für die Orchestrierung von AWS Glue Crawlern, ETL-Jobs und anderen Glue-Ressourcen entwickelt wurden. Sie ermöglichen das Erstellen und Ausführen komplexer Datenpipelines mit integrierter Überwachung und Fehlerbehandlung, ohne zusätzliche Kosten für die Orchestrierungsplattform selbst (abgesehen von den Kosten der Glue-Komponenten). AWS Step Functions ist eine leistungsstarke Orchestrierungslösung, aber für eine reine Glue-Pipeline oft überdimensioniert und teurer, da für jeden Zustand Übergangsgebühren anfallen. AWS Glue Studio ist eine visuelle Oberfläche zum Erstellen und Verwalten von Glue ETL-Jobs, aber keine eigenständige Orchestrierungsplattform für die gesamte Pipeline. Amazon MWAA (Managed Workflows for Apache Airflow) ist eine verwaltete Apache Airflow-Instanz, die zwar sehr flexibel ist, aber deutlich höhere Betriebskosten als Glue Workflows verursacht und für diesen Anwendungsfall überdimensioniert wäre.