Компания централизует логи потоков VPC из множества аккаунтов в единый бакет S3. Логи хранятся в виде текстовых файлов, сжатых gzip, и должны храниться бессрочно. Аналитики выполняют специальные запросы Athena к этим логам, но производительность запросов снижается по мере роста объема логов. Вам необходимо одновременно улучшить производительность запросов и сократить использование хранилища. Какое изменение обеспечит НАИБОЛЬШЕЕ улучшение производительности?

Изменение формата логов на Apache Parquet и почасовое партиционирование обеспечит наибольшее улучшение производительности запросов и сократит использование хранилища. Parquet — это колоночный формат хранения данных, оптимизированный для аналитических запросов, что позволяет Athena читать только необходимые столбцы, а не весь файл. Партиционирование по часам значительно уменьшает объем данных, сканируемых Athena, поскольку запросы могут быть ограничены конкретными временными диапазонами. Декомпрессия и повторная компрессия с bzip2 (вариант 1) увеличит вычислительные затраты и не даст такого прироста производительности запросов, как Parquet, поскольку bzip2 все еще является строковым форматом. S3 Transfer Acceleration и S3 Intelligent-Tiering (вариант 2) улучшают загрузку и оптимизируют стоимость хранения, но не влияют на производительность запросов Athena. Создание новой рабочей группы Athena без ограничений и использование Athena 2 (вариант 4) может дать незначительный прирост, но не решает фундаментальную проблему неэффективного формата данных и отсутствия партиционирования.