Firma hostuje ponad 300 globalnych stron internetowych i aplikacji i potrzebuje platformy do analizy ponad 30 TB danych clickstream dziennie. Czego powinien użyć architekt rozwiązań do pozyskiwania i przetwarzania danych clickstream?

Poprawna odpowiedź to zbieranie danych z Amazon Kinesis Data Streams, używanie Amazon Kinesis Data Firehose do przesyłania danych do data lake Amazon S3 i ładowanie ich do Amazon Redshift do analizy. Kinesis Data Streams jest idealny do pozyskiwania dużych strumieni danych w czasie rzeczywistym, takich jak clickstream. Kinesis Data Firehose efektywnie dostarcza te dane do S3, tworząc skalowalne data lake. Amazon Redshift to magazyn danych zoptymalizowany pod kątem złożonych zapytań analitycznych na dużych zbiorach danych. Pozostałe opcje są mniej optymalne: AWS Data Pipeline do archiwizacji i Amazon EMR: Data Pipeline jest bardziej do okresowego przenoszenia danych, a EMR jest klastrem Hadoop/Spark, który jest bardziej złożony w zarządzaniu dla tego konkretnego przypadku użycia. Grupa Auto Scaling instancji EC2: Wymagałoby to zarządzania serwerami i skalowaniem, co jest mniej efektywne niż usługi zarządzane. Buforowanie w CloudFront i Lambda po dodaniu do S3: CloudFront buforuje treści, nie dane clickstream do analizy. Użycie Lambdy po dodaniu do S3 jest możliwe, ale Kinesis jest bardziej odpowiednie do strumieniowego przetwarzania danych w czasie rzeczywistym.