Миллионы IoT-устройств передают данные с датчиков в BigQuery. Запросы сосредоточены на последних данных, отфильтрованных по create_date, location_id и device_version. Как следует разделить на разделы (partition) и кластеризовать (cluster) таблицу для оптимизации стоимости и производительности?

Правильный ответ — разделить данные таблицы на разделы по createdate, кластеризовать данные таблицы по locationid и deviceversion. Разделение по createdate эффективно, потому что запросы сосредоточены на последних данных и часто фильтруются по дате, что позволяет BigQuery сканировать только необходимые разделы, сокращая объем обрабатываемых данных и затраты. Кластеризация по locationid и deviceversion улучшает производительность запросов, которые фильтруют или агрегируют по этим столбцам, так как BigQuery будет хранить данные с похожими значениями этих столбцов вместе, минимизируя объем сканирования в пределах разделов. Разделение по нескольким столбцам (createdate, locationid, deviceversion) может привести к слишком большому количеству мелких разделов, что снижает эффективность. Только кластеризация без разделения не дает такого же выигрыша в производительности и стоимости для запросов, фильтрующих по дате. Кластеризация по createdate и разделение по другим столбцам неоптимально, поскольку разделение по дате является более мощным инструментом для сокращения сканирования в сценариях с временными рядами.