Компании требуется конвейер обработки данных кликстрима электронной коммерции с высокой пропускной способностью, работающий практически в реальном времени: приём, обработка и визуализация. Решение должно поддерживать обработку на основе SQL и Jupyter notebooks для интерактивной работы. Какая архитектура удовлетворяет этим требованиям?

Правильный ответ: Amazon MSK обеспечивает высокопроизводительный приём данных кликстрима в реальном времени. Amazon Managed Service for Apache Flink (ранее Kinesis Data Analytics for Apache Flink) идеально подходит для обработки потоковых данных с низкой задержкой и высокой пропускной способностью, включая поддержку SQL и интерактивных ноутбуков (через Apache Flink SQL Gateway и Zeppelin). Встроенная панель мониторинга Flink позволяет визуализировать результаты обработки практически в реальном времени. Неправильные варианты: Kinesis Data Firehose предназначен для доставки данных в хранилища, а не для сложной обработки в реальном времени. Lambda может быть слишком медленной для высокопроизводительной потоковой обработки. Kinesis Data Streams подходит для приёма, но Data Firehose не является инструментом для преобразования потоков в реальном времени. Athena — это сервис запросов к данным в S3, а не для потоковой обработки. AWS Glue с PySpark может обрабатывать потоки, но MSK + Flink предлагает более интегрированное и производительное решение для обработки в реальном времени с поддержкой SQL и интерактивности, что является ключевым требованием.