Een podcastplatform registreert grootschalige gebruikersgebeurtenissen en voert een anomaliedetectiemodel uit met behulp van een 'running window' van 10 minuten. Elke gebeurtenis heeft kleine transformaties nodig vóór inferentie. Welk ontwerp voor gebeurtenisopname en voorverwerking biedt de vereiste transformaties met de minste operationele overhead?

De correcte optie is het opnemen van gebeurtenissen met Amazon Kinesis Data Streams en het toepassen van transformaties in een Amazon Kinesis Data Analytics (Apache Flink)-applicatie. Kinesis Data Streams is ideaal voor grootschalige, real-time gebeurtenisopname. Kinesis Data Analytics met Apache Flink is specifiek ontworpen voor real-time streamverwerking en kan efficiënt vensterfuncties (zoals een 'running window' van 10 minuten) en transformaties uitvoeren met minimale operationele overhead. De andere opties zijn minder geschikt: AWS AppSync en DynamoDB Streams zijn niet geoptimaliseerd voor grootschalige real-time streamverwerking en vensterfuncties. Kinesis Data Firehose naar S3 en AWS Glue is meer geschikt voor batchverwerking of langzamere analyse, niet voor real-time transformaties binnen een lopend venster. Amazon MSK met een Lambda-functie zou meer operationele overhead vereisen voor het beheer van het venster en de stateful verwerking.