Финансовая компания использует Amazon Athena для BI-приложения, работающего с набором данных петабайтного масштаба. Ежедневное задание AWS Glue обновляет данные один раз в день, в то время как BI-приложение требует ежечасного обновления по соображениям политики. Цель состоит в том, чтобы сократить расходы на Athena без добавления инфраструктуры и с минимальными операционными издержками. Какой вариант является наилучшим?

Правильный ответ — использование функции повторного использования результатов запросов Amazon Athena для SQL-запросов. Это позволяет Athena кэшировать результаты предыдущих запросов, сокращая объем сканируемых данных и, следовательно, затраты, поскольку оплата за Athena взимается за объем сканируемых данных. Это решение не требует добавления новой инфраструктуры и минимизирует операционные издержки, так как функция легко настраивается. Перемещение данных в S3 Glacier Deep Archive не подходит, так как BI-приложение требует ежечасного обновления, а доступ к данным в Glacier Deep Archive занимает часы. Добавление кластера Amazon ElastiCache увеличит инфраструктуру и операционные издержки. Изменение формата файлов на Apache Parquet может снизить затраты, но это требует изменения данных и не решает проблему ежечасного обновления без повторного сканирования.