Dostawca usług bezpieczeństwa otrzymuje dane telemetryczne co 30 sekund z tysięcy globalnych punktów końcowych. Rekordy mają około 1 KB i zawierają 50 pól. Dane są przesyłane do Kinesis Data Streams, a godzinne podsumowania muszą być generowane dla zapytań Athena, które będą odczytywać 7–12 pól. Które podejście wymaga najmniejszej personalizacji w celu transformacji i przechowywania pozyskanych danych?

Kinesis Data Analytics (obecnie Amazon Kinesis Data Analytics for Apache Flink) jest najlepszym wyborem, ponieważ jest to usługa zarządzana, zaprojektowana do przetwarzania strumieniowego w czasie rzeczywistym. Może ona wykonywać agregacje godzinowe bezpośrednio na danych ze strumienia Kinesis Data Streams, a następnie wysyłać przetworzone wyniki do S3 za pośrednictwem Kinesis Data Firehose. To podejście minimalizuje kodowanie niestandardowe i zarządzanie infrastrukturą. Opcja z AWS Lambda do odczytywania i agregowania danych co godzinę wymagałaby zarządzania logiką agregacji i wyzwalaniem funkcji Lambda, co jest bardziej złożone. Użycie Kinesis Data Firehose z krótkotrwałym klastrem Amazon EMR jest zbyt kosztowne i skomplikowane dla prostych agregacji godzinowych. Kinesis Data Firehose z transformacjami Lambda jest możliwy, ale Kinesis Data Analytics jest bardziej zoptymalizowany do ciągłego przetwarzania strumieniowego i agregacji.