Een bedrijf draait dagelijks een ETL-pipeline, geïmplementeerd als Python-scripts op een grote EC2-instantie, om terabytes aan gebruikersinteractiedata die zijn opgeslagen in S3 op te schonen, te transformeren, te verrijken en te comprimeren. Het proces duurt meer dan 20 uur en ze willen van EC2 afstappen naar een beheerde, serverloze oplossing met minimale ontwikkelingsinspanning. Welke aanpak voldoet aan deze vereisten?

De correcte optie is het maken van een AWS Glue-job en het converteren van de scripts naar PySpark. AWS Glue is een serverloze ETL-service die schaalbaar is en geschikt voor het verwerken van terabytes aan data met minimale ontwikkelingsinspanning. Het ondersteunt PySpark, waardoor de bestaande Python-scripts relatief eenvoudig kunnen worden aangepast. Het laden van data in Amazon Redshift en het uitvoeren van de pipeline met SQL is minder geschikt omdat de originele pipeline in Python is geschreven en het omzetten naar SQL een aanzienlijke herontwikkeling zou vereisen. Het laden van data in Amazon DynamoDB en het gebruik van AWS Lambda is niet optimaal voor terabytes aan data; DynamoDB is een NoSQL-database die niet primair is ontworpen voor grootschalige analytische ETL, en Lambda-functies hebben uitvoeringslimieten die ongeschikt zijn voor langlopende ETL-processen van 20+ uur. Het implementeren van elk script als een afzonderlijke AWS Lambda-functie en het orkestreren met Step Functions is ook minder efficiënt voor langlopende, data-intensieve ETL-processen vanwege de uitvoeringslimieten van Lambda en de complexiteit van het beheer van afzonderlijke functies voor een pipeline van deze omvang.