Een data-engineer ontwerpt een hybride data-orkestratieworkflow die zowel on-premises als cloudresources gebruikt en wil prioriteit geven aan portabiliteit en open-source tools. Welke service moet in beide omgevingen worden gebruikt?

Amazon Managed Workflows for Apache Airflow (MWAA) is de beste keuze omdat het gebaseerd is op Apache Airflow, een populaire open-source tool voor het orkestreren van workflows. Airflow kan zowel on-premises als in de cloud worden ingezet, wat zorgt voor de vereiste portabiliteit en consistentie in een hybride omgeving. AWS Data Exchange is een service voor het vinden, abonneren op en gebruiken van data van derden, niet voor workflow-orkestratie. Amazon Simple Workflow Service (SWF) is een oudere workflow-service die minder flexibel is en niet de open-source portabiliteit van Airflow biedt. AWS Glue is een serverloze data-integratieservice die voornamelijk wordt gebruikt voor ETL-taken (Extract, Transform, Load), niet als een algemene workflow-orkestrator voor hybride omgevingen.