Een e-commercebedrijf wil on-premises data-ingestiepipelines migreren naar AWS zonder servers te beheren. De oplossing moet bestaande Python- en Bash-scripts orkestreren zonder refactoring. Welke optie biedt de minste operationele overhead?

Amazon MWAA is de beste keuze omdat het een beheerde service is voor Apache Airflow, een veelgebruikt orkestratieplatform voor data-pipelines. Het ondersteunt Python- en Bash-scripts native via operators, waardoor bestaande scripts zonder refactoring kunnen worden gebruikt. Dit minimaliseert de operationele overhead omdat AWS de infrastructuur beheert. AWS Lambda is serverloos en kan Python-scripts uitvoeren, maar is minder geschikt voor complexe orkestratie van meerdere, onderling afhankelijke scripts en heeft beperkingen in uitvoeringstijd. AWS Step Functions is uitstekend voor orkestratie, maar vereist het herstructureren van scripts in kleinere, discrete stappen die passen binnen de state machine-paradigma. AWS Glue is een serverloze ETL-service die Python- en Spark-scripts kan uitvoeren, maar is primair gericht op data-transformatie en minder op algemene workflow-orkestratie van willekeurige Bash-scripts.