Una empresa necesita una pipeline casi en tiempo real para datos de clickstream de comercio electrónico de alto volumen: ingesta, procesamiento y visualización. La solución debe admitir el procesamiento basado en SQL y los notebooks de Jupyter para el trabajo interactivo. ¿Qué arquitectura satisface estas necesidades?

La opción correcta utiliza Amazon MSK para la ingesta de datos de clickstream de alto volumen, que es ideal para flujos de datos en tiempo real. Amazon Managed Service for Apache Flink (anteriormente Kinesis Data Analytics para Apache Flink) es la elección óptima para el procesamiento casi en tiempo real, ya que permite el procesamiento basado en SQL y es compatible con notebooks de Jupyter para trabajo interactivo, satisfaciendo ambos requisitos clave. El panel de control incorporado de Flink puede usarse para la visualización inicial. Las otras opciones tienen deficiencias: Kinesis Data Firehose es para ingesta, pero Lambda para procesamiento puede no escalar tan eficientemente para procesamiento en tiempo real de alto volumen como Flink. Kinesis Data Streams es una buena opción para la ingesta, pero Data Firehose no es una herramienta de transformación robusta para procesamiento complejo, y Athena es para consultas ad-hoc, no para procesamiento continuo en tiempo real. AWS Glue con PySpark es adecuado para procesamiento por lotes o streaming, pero MSK y Flink ofrecen una solución más integrada y optimizada para el procesamiento casi en tiempo real con capacidades SQL y de notebook.