数百万のIoTデバイスがセンサーデータをBigQueryにストリーミングしています。クエリは、create_date、location_id、およびdevice_versionでフィルタリングされた最近のデータに焦点を当てています。コストとパフォーマンスのために、テーブルをどのようにパーティション分割およびクラスタリングすべきですか？

このシナリオでは、クエリが「最近のデータ」に焦点を当てているため、createdateによるパーティショニングが最も効果的です。これにより、BigQueryは指定された日付範囲のデータのみをスキャンし、コストとパフォーマンスを大幅に向上させます。locationidとdeviceversionは、パーティショニングのカーディナリティが高すぎる可能性があり、多数の小さなパーティションを作成してオーバーヘッドを増やす可能性があります。そのため、これらの列をクラスタリングキーとして使用するのが適切です。クラスタリングは、パーティション内で関連データを物理的に近くに配置し、これらの列でフィルタリングや集計を行うクエリのパフォーマンスをさらに最適化します。