Маркетинговая компания получает большой объем новых данных clickstream в Amazon S3 от маркетинговой кампании. Компании необходимо быстро проанализировать данные clickstream в Amazon S3, а затем решить, стоит ли обрабатывать данные дальше в конвейере данных. Какое решение соответствует этим требованиям с НАИМЕНЬШИМИ операционными издержками?

Правильный ответ — настроить AWS Glue crawler для каталогизации данных и Amazon Athena для запроса данных. AWS Glue crawler автоматически обнаруживает схему данных clickstream, хранящихся в S3, и создает соответствующие таблицы в AWS Glue Data Catalog. Amazon Athena — это бессерверный интерактивный сервис запросов, который позволяет аналитикам напрямую запрашивать данные в S3 с помощью стандартного SQL, используя каталог AWS Glue. Это решение является бессерверным, что минимизирует операционные издержки, поскольку не требует управления серверами. Создание внешних таблиц в каталоге Spark и настройка заданий AWS Glue для запроса данных (вариант 1) или создание внешних таблиц в Hive metastore и настройка заданий Spark в Amazon EMR (вариант 3) требуют управления вычислительными ресурсами (Spark/EMR), что увеличивает операционные издержки по сравнению с бессерверным подходом Athena. Настройка AWS Glue crawler для каталогизации данных и Amazon Kinesis Data Analytics для запроса данных (вариант 4) не подходит, так как Kinesis Data Analytics предназначен для анализа потоковых данных в реальном времени, а не для запросов к статическим данным в S3.