Ein Unternehmen benötigt eine Near-Real-Time-Pipeline für hochvolumige E-Commerce-Clickstream-Daten: Erfassung, Verarbeitung und Visualisierung. Die Lösung muss SQL-basierte Verarbeitung und Jupyter Notebooks für interaktives Arbeiten unterstützen. Welche Architektur erfüllt diese Anforderungen?

Die korrekte Architektur nutzt Amazon MSK für die Erfassung hochvolumiger Clickstream-Daten in Near-Real-Time. Amazon Managed Service for Apache Flink (zuvor Kinesis Data Analytics for Apache Flink) bietet eine leistungsstarke Streaming-Verarbeitung mit SQL-Unterstützung und Integration von Jupyter Notebooks für interaktive Analysen. Das integrierte Dashboard von Flink ermöglicht die Visualisierung der verarbeiteten Daten in Echtzeit. Die anderen Optionen sind weniger geeignet: Kinesis Data Firehose ist für die Erfassung gedacht, aber eine Lambda-Funktion allein ist für hochvolumige Echtzeitverarbeitung oft nicht ausreichend skaliert. Kinesis Data Streams und Athena sind gut, aber Athena ist ein Abfragedienst und keine kontinuierliche Echtzeit-Verarbeitungsmaschine. AWS Glue mit PySpark ist ein starkes Verarbeitungs-Tool, aber MSK und Flink bieten eine bessere Integration für Near-Real-Time-Streaming-Szenarien mit SQL-Unterstützung direkt in der Verarbeitungs-Engine.