Un'azienda necessita di una pipeline quasi in tempo reale per dati clickstream di e-commerce ad alto volume: acquisizione, elaborazione e visualizzazione. La soluzione deve supportare l'elaborazione basata su SQL e i notebook Jupyter per il lavoro interattivo. Quale architettura soddisfa queste esigenze?

L'architettura corretta sfrutta Amazon MSK per l'acquisizione di dati clickstream ad alto volume e quasi in tempo reale, essendo un servizio Apache Kafka completamente gestito. Amazon Managed Service for Apache Flink (precedentemente Kinesis Data Analytics for Apache Flink) è ideale per l'elaborazione di stream quasi in tempo reale, supportando SQL e notebook Jupyter per l'analisi interattiva. La dashboard integrata di Flink consente la visualizzazione immediata dei dati elaborati. Le altre opzioni sono meno adatte: Kinesis Data Firehose è per l'acquisizione e la consegna, non per l'elaborazione complessa in tempo reale con SQL/Jupyter. Lambda è per funzioni serverless, non per l'elaborazione continua di stream. Kinesis Data Streams è per l'acquisizione, ma l'elaborazione con Athena è ad-hoc e non in tempo reale. Firehose per la trasformazione è limitato. MSK è buono per l'acquisizione, ma AWS Glue con PySpark è più orientato all'elaborazione batch o micro-batch, non all'elaborazione stream pura quasi in tempo reale richiesta.