Een bedrijf heeft een bijna-realtime pipeline nodig voor grootschalige e-commerce clickstream-data: opname, verwerking en visualisatie. De oplossing moet SQL-gebaseerde verwerking en Jupyter notebooks voor interactief werk ondersteunen. Welke architectuur voldoet aan deze behoeften?

De juiste optie voldoet aan alle vereisten: Amazon MSK (Managed Streaming for Apache Kafka) is ideaal voor grootschalige, bijna-realtime opname van clickstream-data. Apache Flink biedt krachtige, bijna-realtime verwerking en ondersteunt SQL-gebaseerde verwerking (via Flink SQL) en interactief werk via Jupyter notebooks (met Flink SQL Gateway en Apache Zeppelin/Jupyter integratie). Het ingebouwde dashboard van Flink kan worden gebruikt voor visualisatie. De andere opties schieten tekort: Kinesis Data Firehose met Lambda is minder geschikt voor complexe, SQL-gebaseerde verwerking en interactief werk. Kinesis Data Streams met Firehose en Athena: Firehose is primair voor levering, niet voor complexe transformaties. Athena is een queryservice, geen streamverwerkingsengine, en is minder geschikt voor bijna-realtime verwerking van streams. MSK met Glue en PySpark: AWS Glue is een batch-ETL-service, niet geoptimaliseerd voor bijna-realtime streamverwerking zoals Flink.