Игровая компания собирает события кликстрима с помощью Amazon Kinesis Data Streams и использует Kinesis Data Firehose для доставки JSON-файлов в Amazon S3. Специалисты по данным запрашивают самые свежие данные в Amazon Athena. Компания хочет сократить затраты на запросы Athena без перестройки существующего конвейера данных. Какой вариант минимизирует усилия по управлению при соблюдении требований?

Правильный вариант минимизирует усилия по управлению, поскольку позволяет Kinesis Data Firehose напрямую преобразовывать данные в Apache Parquet. Parquet — это колоночный формат, который значительно сокращает объем сканируемых данных в Athena, тем самым снижая затраты на запросы. Использование префикса S3 в формате YYYYMMDD и большого размера буфера Firehose способствует созданию более крупных файлов, что также оптимизирует производительность Athena. Для исторических данных задание AWS Glue ETL эффективно объединяет существующие мелкие JSON-файлы в более крупные Parquet-файлы, а ALTER TABLE ADD PARTITION легко интегрирует их в существующую таблицу Athena без перестройки конвейера. Остальные варианты требуют создания и управления дополнительными компонентами (Spark/EMR, Kinesis Data Streams/Managed Service for Apache Flink, Lambda), что увеличивает сложность и операционные издержки, или не полностью решают проблему оптимизации исторических данных.