Ontwerp een dagelijkse ETL-workflow met de volgende vereisten: start wanneer nieuwe data wordt geüpload naar S3; zodra alle benodigde uploads aanwezig zijn, voer een ETL-taak uit die de nieuwe data samenvoegt met datasets van meerdere terabytes in S3; schrijf de samengevoegde resultaten terug naar S3; en stel een beheerder op de hoogte als een taak mislukt. Welke architectuur voldoet aan deze vereisten?

Deze architectuur voldoet aan alle vereisten. Een S3-upload-event triggert Lambda, wat een Step Functions-workflow start. Step Functions is ideaal voor het coördineren van complexe, stateful workflows, zoals wachten op meerdere uploads. AWS Glue is de juiste service voor grootschalige ETL-taken, inclusief het samenvoegen van terabytes aan data in S3. CloudWatch-alarmen gekoppeld aan SNS zijn een standaard en effectieve manier om beheerders te waarschuwen bij fouten. De andere opties zijn minder geschikt: SageMaker notebooks zijn interactief en niet ontworpen voor geautomatiseerde, grootschalige ETL-workflows. AWS Batch kan taken uitvoeren, maar mist de ingebouwde workflow-coördinatie van Step Functions voor het wachten op meerdere uploads en het beheren van de staat. Het aaneenschakelen van Lambda-functies voor directe dataverwerking is inefficiënt en onpraktisch voor terabytes aan data; Lambda is beter voor kleinere, kortlopende taken.