Een data scientist moet een on-premises ETL-proces migreren naar AWS. Het huidige proces draait volgens een schema en gebruikt PySpark om verschillende grote databronnen samen te voegen en te formatteren tot één geconsolideerde output voor downstream-taken. Vereisten voor de cloudoplossing: combineer meerdere bronnen, hergebruik bestaande PySpark-code, draai volgens het bestaande schema en minimaliseer het aantal te beheren servers. Welke architectuur voldoet aan deze vereisten?

De correcte optie voldoet aan alle vereisten. AWS Glue is een serverloze ETL-service die PySpark-code direct kan uitvoeren, waardoor hergebruik van bestaande code mogelijk is. Het kan worden gepland met triggers om te draaien volgens het bestaande schema en minimaliseert het aantal te beheren servers omdat het volledig beheerd is. Het opslaan van ruwe data in S3 is een gangbare best practice voor data lakes. De optie met Amazon EMR vereist het beheer van een persistent EMR-cluster, wat in strijd is met de vereiste om het aantal te beheren servers te minimaliseren. De optie met AWS Lambda die de ETL direct uitvoert, is ongeschikt omdat Lambda beperkt is in uitvoeringstijd en geheugen, en het opnieuw implementeren van PySpark-logica in pure Python is inefficiënt en tijdrovend. De optie met Kinesis Data Analytics is bedoeld voor streaming data en continue transformaties, niet voor batch-gebaseerde ETL-processen die volgens een schema draaien.