Een bedrijf host meer dan 300 wereldwijde websites en applicaties en heeft een platform nodig om dagelijks meer dan 30 TB aan clickstream-gegevens te analyseren. Wat moet een solutions architect gebruiken om de clickstream-gegevens op te nemen en te verwerken?

De juiste oplossing is om Amazon Kinesis Data Streams te gebruiken voor het verzamelen van de real-time clickstream-gegevens, aangezien dit ontworpen is voor hoge doorvoer van streaming data. Vervolgens stuurt Amazon Kinesis Data Firehose deze gegevens efficiënt naar een Amazon S3 data lake. S3 biedt schaalbare en duurzame opslag voor de 30 TB aan gegevens. Ten slotte is Amazon Redshift een volledig beheerde, petabyte-schaal datawarehouse-service die geoptimaliseerd is voor complexe analytische queries op grote datasets, wat ideaal is voor het analyseren van clickstream-gegevens. De andere opties zijn minder geschikt: AWS Data Pipeline is meer gericht op geplande, periodieke dataverplaatsing en transformatie, niet op real-time streaming data-opname. EMR kan wel analyses uitvoeren, maar de opname is niet optimaal. Een Auto Scaling Group van EC2-instances voor verwerking introduceert operationele overhead die Kinesis-services vermijden. Caching met CloudFront is voor content delivery, niet voor data-opname en -verwerking. Lambda kan verwerken, maar Kinesis is beter voor de initiële opname van grote volumes streaming data.