1000 датчиков передают по одной метрике в секунду с временными метками. У вас уже есть 1 ТБ данных, и объем будет расти примерно на 1 ГБ в день. Вам нужны чтения с миллисекундной задержкой для отдельного датчика + временной метки и ежедневные сложные аналитические запросы с объединениями. Как следует хранить эти данные?

Правильный ответ — Bigtable для оперативных данных и BigQuery для аналитики. Bigtable обеспечивает низкую задержку (миллисекунды) для точечных чтений по ключу строки, что идеально подходит для запросов по отдельному датчику и временной метке. Объединение ID датчика и временной метки в ключ строки обеспечивает эффективный доступ к данным. Ежедневный экспорт в BigQuery позволяет выполнять сложные аналитические запросы с объединениями, поскольку BigQuery оптимизирован для OLAP-нагрузок на больших объемах данных. Хранение всех данных в BigQuery не обеспечит миллисекундной задержки для точечных чтений. Использование метрики в качестве первичного ключа в BigQuery или части ключа строки в Bigtable неэффективно, так как метрика не является уникальным идентификатором для точечного доступа.