Uma empresa hospeda mais de 300 sites e aplicações globais e precisa de uma plataforma para analisar mais de 30 TB de dados de clickstream por dia. O que um arquiteto de soluções deve usar para ingerir e processar os dados de clickstream?

A opção correta utiliza o Amazon Kinesis Data Streams para coletar os dados de clickstream em tempo real, que é ideal para grandes volumes de dados contínuos. Em seguida, o Amazon Kinesis Data Firehose é empregado para entregar esses dados a um data lake no Amazon S3, simplificando a ingestão e eliminando a necessidade de gerenciar servidores. Finalmente, o Amazon Redshift é a escolha adequada para análise de petabytes de dados, oferecendo desempenho e escalabilidade para consultas complexas. As outras opções são menos eficientes ou não se encaixam tão bem no cenário de dados de clickstream em larga escala: AWS Data Pipeline com Amazon EMR é uma solução válida, mas o Kinesis oferece uma abordagem mais gerenciada para ingestão em tempo real. Um grupo de Auto Scaling de instâncias EC2 para processamento exige mais gerenciamento e não é tão otimizado para ingestão de streaming quanto o Kinesis. Armazenar dados em cache no CloudFront não é para ingestão de clickstream, e o processamento via Lambda para cada objeto S3 pode ser ineficiente para 30 TB diários.