Uma empresa precisa de um pipeline quase em tempo real para dados de clickstream de e-commerce de alto volume: ingestão, processamento e visualização. A solução deve suportar processamento baseado em SQL e notebooks Jupyter para trabalho interativo. Qual arquitetura satisfaz essas necessidades?

A arquitetura correta utiliza Amazon MSK para ingestão de dados de clickstream de alto volume, que é compatível com Apache Kafka e ideal para dados em tempo real. O Amazon Managed Service for Apache Flink (anteriormente Kinesis Data Analytics for Apache Flink) é a escolha ideal para processamento quase em tempo real, suportando SQL e notebooks Jupyter para análise interativa. O painel integrado do Flink permite visualização imediata dos resultados. As outras opções são menos adequadas: Kinesis Data Firehose e Lambda são mais para processamento de eventos pontuais ou lotes menores, não para processamento contínuo e interativo de alto volume. Kinesis Data Streams e Athena podem ser usados, mas o Athena é mais para consultas ad-hoc em dados armazenados, não para processamento contínuo em tempo real. MSK com AWS Glue e PySpark é uma boa opção para processamento de grandes volumes, mas o Glue é mais focado em ETL em lote ou micro-lote, e não oferece a mesma capacidade de processamento contínuo e interativo com SQL e notebooks que o Flink.