Онлайн-ритейлер хранит логи доступа ALB в S3 и запрашивает их с помощью Amazon Athena. Инженер создал несекционированную таблицу Athena, и время ответа на запросы увеличилось по мере роста объема данных. Какой подход улучшит производительность запросов Athena с наименьшими операционными усилиями?

Правильный ответ — создание обходчика AWS Glue. Обходчик автоматически сканирует данные в S3, определяет схему с помощью классификатора и создает или обновляет таблицы и разделы в AWS Glue Data Catalog. Это позволяет Athena использовать секционирование для оптимизации запросов, сканируя только релевантные данные, что значительно улучшает производительность при росте объема данных с минимальными операционными усилиями. Создание задания AWS Glue для определения схемы и записи метаданных секций требует больше операционных усилий, так как нужно вручную настраивать задание. Преобразование логов в Apache Parquet с помощью Lambda и добавление секций — это эффективный метод, но он требует значительных операционных усилий для разработки и поддержки функции Lambda и процесса преобразования данных. Использование Apache Hive и Lambda также является более сложным и операционно затратным решением, чем использование обходчика Glue.