У вас есть CSV-файлы размером 20 ТБ, и несколько пользователей будут выполнять агрегированные запросы с использованием различных движков; какая служба хранения и схема минимизируют стоимость запросов?

Хранение данных в Cloud Storage и предоставление их в качестве постоянных внешних таблиц в BigQuery является наиболее экономичным решением. Cloud Storage предлагает низкую стоимость хранения для больших объемов данных (20 ТБ CSV-файлов). BigQuery, работая с внешними таблицами, не хранит данные, а лишь считывает их из Cloud Storage по мере необходимости, что минимизирует затраты на хранение в BigQuery. Кроме того, BigQuery оптимизирован для выполнения агрегированных запросов на больших наборах данных, а постоянные внешние таблицы позволяют нескольким пользователям легко и эффективно запрашивать одни и те же данные без повторной настройки. Cloud Bigtable не подходит для аналитических агрегированных запросов и имеет более высокую стоимость хранения. Использование временных таблиц в BigQuery менее эффективно, так как их нужно будет создавать заново для каждого сеанса или пользователя, что увеличивает накладные расходы и сложность.