Een beveiligingsleverancier ontvangt elke 30 seconden telemetrie van duizenden wereldwijde endpoints. Records zijn ongeveer 1 KB met 50 velden. Gegevens worden opgenomen in Kinesis Data Streams en er moeten uurlijkse samenvattingen worden geproduceerd voor Athena-query's die 7-12 velden zullen lezen. Welke aanpak vereist de minste aanpassing om de opgenomen gegevens te transformeren en op te slaan?

Kinesis Data Analytics is de meest geschikte optie omdat het speciaal is ontworpen voor real-time verwerking en aggregatie van streaminggegevens, zoals de telemetrie van endpoints. Het kan SQL-query's uitvoeren op de Kinesis Data Stream om de uurlijkse samenvattingen te genereren en deze vervolgens via Kinesis Data Firehose naar S3 sturen. Dit minimaliseert de noodzaak voor aangepaste code en beheertaken. De andere opties zijn minder efficiënt of vereisen meer aanpassing: AWS Lambda voor uurlijkse aggregatie zou complex zijn om te beheren en te schalen voor duizenden endpoints, en vereist meer aangepaste code. Kinesis Data Firehose kan weliswaar transformaties uitvoeren met Lambda, maar de aggregatie zelf is niet de primaire functie van Firehose; dit zou meer aangepaste logica vereisen. Een kortstondig Amazon EMR-cluster opstarten voor elke uurlijkse aggregatie is een zware en kostbare oplossing voor deze specifieke taak, die meer geschikt is voor complexere batchverwerking.