Компания отправляет логи AWS WAF в Amazon S3 через Amazon Kinesis Data Firehose. Запрос Amazon Athena выполняется один раз в день для получения логов WAF за предыдущие 24 часа. Хотя ежедневный объем логов стабилен, запрос со временем выполняется все дольше. Вам необходимо предотвратить дальнейшее увеличение времени выполнения запроса при минимизации операционных издержек. Какое решение соответствует этим требованиям?

Правильный ответ — изменить конфигурацию Kinesis Data Firehose и определение таблицы Athena для секционирования данных по дате и времени, а также изменить запрос Athena для просмотра соответствующих секций. Секционирование данных в S3 по дате и времени позволяет Athena сканировать только релевантные разделы данных (за последние 24 часа), значительно сокращая объем сканируемых данных и, следовательно, время выполнения запроса. Это минимизирует операционные издержки, поскольку Athena взимает плату за объем сканируемых данных. Остальные варианты неэффективны или неверны: Объединение логов в один файл с помощью Lambda не решает проблему сканирования больших объемов данных, а лишь усугубляет ее, так как Athena все равно будет сканировать весь файл. Отправка логов в разные бакеты S3 каждый день усложняет управление и не является стандартным способом оптимизации запросов Athena; секционирование внутри одного бакета предпочтительнее. Использование Amazon Redshift и Redshift Spectrum добавляет значительные операционные издержки и сложность, что противоречит требованию минимизации.