Une entreprise a besoin d'un pipeline quasi-temps réel pour des données de flux de clics e-commerce à volume élevé : ingestion, traitement et visualisation. La solution doit prendre en charge le traitement basé sur SQL et les notebooks Jupyter pour le travail interactif. Quelle architecture répond à ces besoins ?

L'option correcte utilise Amazon MSK pour l'ingestion de données de flux de clics à volume élevé en quasi temps réel, ce qui est idéal pour les données de streaming. Amazon Managed Service for Apache Flink est excellent pour le traitement en temps réel avec des capacités SQL (Flink SQL) et prend en charge les notebooks Jupyter pour l'analyse interactive, répondant ainsi aux exigences de traitement et d'interactivité. Le tableau de bord intégré de Flink permet une visualisation immédiate des résultats. Les autres options sont moins adaptées : Kinesis Data Firehose avec Lambda est moins performant pour le traitement complexe en quasi temps réel et l'interactivité SQL/Jupyter. Kinesis Data Streams avec Firehose et Athena peut être coûteux et Athena est plus adapté aux requêtes ad hoc qu'au traitement continu en quasi temps réel. MSK avec AWS Glue et PySpark est une bonne option pour le traitement par lots ou micro-lots, mais Glue est moins optimisé pour le traitement strictement en quasi temps réel et l'interactivité SQL/Jupyter qu'Apache Flink.