Een data-engineer moet enkele terabytes aan ruwe data, die zich in Amazon S3 bevinden, opschonen en voorbereiden. Vervolgens moeten de verwerkte data in Amazon Redshift worden geladen voor analyses. Data-analisten hebben de mogelijkheid nodig om complexe queries uit te voeren. De oplossing moet de noodzaak voor complexe ETL-pipelines wegnemen en het beheer van infrastructuur vermijden. Welke aanpak biedt de vereiste functionaliteit met de MINSTE operationele overhead?

De correcte optie minimaliseert operationele overhead door serverloze en beheerde services te gebruiken. AWS Glue DataBrew is een visuele tool voor gegevensvoorbereiding zonder code, ideaal voor het opschonen van terabytes aan ruwe data in S3 zonder infrastructuurbeheer. AWS Glue is een serverloze ETL-service die naadloos integreert met DataBrew en efficiënt data in Redshift kan laden. Amazon Redshift is een datawarehouse dat geoptimaliseerd is voor complexe analytische queries. De andere opties introduceren meer operationele overhead of zijn minder geschikt voor de specifieke vereisten: Amazon EMR vereist clusterbeheer. AWS Step Functions is meer voor workfloworkestratie dan direct laden. Amazon QuickSight is een BI-tool, geen query-engine voor data-analisten. AWS Lambda is niet optimaal voor terabytes aan dataverwerking vanwege de beperkte runtime en geheugen. Amazon Kinesis Data Firehose is voor streaming data, niet voor batchlading van S3. Amazon Athena query's S3 direct, wat de prestaties voor complexe queries op geladen data in Redshift niet optimaliseert. AWS Glue voorbereiding is goed, maar AWS DMS is primair voor datamigratie, niet voor reguliere ETL-ladingen van S3 naar Redshift. Amazon Redshift Spectrum query's S3, wat de noodzaak om data in Redshift te laden voor optimale queryprestaties omzeilt.