Een applicatie verwerkt miljoenen events in realtime die binnenkomen via een API. Welke service maakt het mogelijk dat meerdere consumers de stream gelijktijdig verwerken en is tegelijkertijd het meest kosteneffectief?

Amazon Kinesis Data Streams is de meest geschikte keuze omdat het real-time verwerking van miljoenen events mogelijk maakt en meerdere consumers gelijktijdig dezelfde stream kunnen verwerken. Dit wordt bereikt door het concept van shards, waarbij elke consumer zijn eigen pointer heeft naar de stream. Kinesis Data Streams is kosteneffectief voor dit scenario, vooral gezien de schaal van miljoenen events. Amazon SNS met fan-out naar SQS (standaard of FIFO) is minder geschikt omdat SNS primair een pub/sub-service is en niet geoptimaliseerd voor het verwerken van miljoenen real-time events in een continue stroom op de manier van Kinesis. Hoewel het fan-out patroon meerdere consumers ondersteunt, is de overhead en de manier van eventverwerking anders dan bij een streamingdienst. FIFO-wachtrijen zijn bovendien duurder en introduceren strikte volgordegaranties die voor dit scenario mogelijk niet nodig zijn en de schaalbaarheid kunnen beperken. Amazon Kinesis Firehose is ontworpen voor het laden van streaminggegevens naar data stores zoals S3, Redshift of Splunk, niet voor het gelijktijdig verwerken door meerdere applicatieconsumers.