1000個のセンサーが、1秒あたり1センサーにつき1つのメトリックをタイムスタンプ付きで出力します。すでに1TBのデータがあり、1日あたり約1GB増加します。単一のセンサーとタイムスタンプに対してミリ秒単位の読み取りが必要で、さらに結合を含む複雑な分析クエリを毎日実行する必要があります。このデータをどのように保存すべきですか？

このシナリオでは、Bigtableがミリ秒単位の単一レコード読み取り要件と、時系列データの高スループット書き込みに適しています。センサーIDとタイムスタンプを連結した行キーは、特定のセンサーの特定の時点のデータを効率的に取得できます。Bigtableは分析クエリには不向きなため、複雑な分析のためにデータをBigQueryにエクスポートするのは適切なハイブリッドアプローチです。BigQueryはペタバイト規模のデータに対する複雑なSQLクエリに最適です。 BigQueryに直接保存するオプションは、単一レコードのミリ秒単位の読み取りには最適ではありません。BigtableでセンサーIDとメトリックを連結する行キーは、特定のセンサーのすべてのメトリックを効率的に取得できますが、特定のタイムスタンプでの検索には適しません。メトリックを主キーとするBigQueryオプションは、メトリックが重複するため一意性が保証されず、効率的な検索には不向きです。