Маркетинговая фирма хранит данные clickstream в Amazon S3 и ежедневно выполняет SQL-запросы, которые объединяют (JOIN) объекты S3, расположенные в разных бакетах, для получения KPI. Компании требуется бессерверное решение, поддерживающее запросы с секционированием, сохраняющее гарантии ACID (атомарность, согласованность, изоляция, долговечность) и минимизирующее затраты. Какое решение наиболее экономично соответствует этим требованиям?

Amazon Athena — это бессерверный интерактивный сервис запросов, который позволяет анализировать данные непосредственно в Amazon S3 с использованием стандартного SQL. Он поддерживает запросы с секционированием, что значительно ускоряет выполнение запросов и снижает затраты, так как сканируется меньше данных. Интеграция с AWS Glue Data Catalog обеспечивает поддержку ACID-транзакций для данных в S3, особенно при использовании форматов, таких как Apache Iceberg, Apache Hudi или Delta Lake. Это делает Athena наиболее экономичным и подходящим решением. Amazon S3 Select позволяет фильтровать данные внутри одного объекта S3, но не поддерживает объединение объектов из разных бакетов и не обеспечивает ACID. Amazon Redshift Spectrum позволяет запрашивать данные в S3 из кластера Redshift, но сам Redshift не является бессерверным. Amazon EMR — это управляемый кластер Hadoop, который требует управления серверами и не является полностью бессерверным, что противоречит требованию минимизации затрат и бессерверности.