Een data-engineer heeft een S3-bucket geabonneerd op een AWS Data Exchange-product dat economische indicatoren levert. De engineer moet die binnenkomende economische gegevens samenvoegen met een bestaande tabel in Amazon Athena en alle transformaties binnen 30-60 minuten voltooien. Welke kosteneffectieve oplossing voldoet aan deze vereisten?

De correcte optie maakt gebruik van een S3-event om een Lambda-functie te activeren zodra nieuwe gegevens arriveren. Deze Lambda-functie start vervolgens een AWS Glue-taak. AWS Glue is een serverloze ETL-service (Extract, Transform, Load) die uitermate geschikt is voor het samenvoegen van gegevens met Athena-tabellen en het terugschrijven van resultaten naar S3, wat voldoet aan de vereiste van 30-60 minuten en kosteneffectiviteit. De andere opties zijn minder geschikt: Kinesis Data Streams en Firehose zijn ontworpen voor real-time streaming, wat overkill is voor periodieke updates van economische indicatoren en hogere kosten met zich meebrengt. SageMaker Data Wrangler is een tool voor data-voorbereiding en -analyse, niet primair voor geautomatiseerde ETL-orchestratie via Lambda. Een Amazon Redshift-cluster is een datawarehouse-oplossing die continue kosten met zich meebrengt, zelfs wanneer deze niet actief wordt gebruikt, en is daarom minder kosteneffectief voor dit specifieke scenario.