Cloud SpannerとCloud Bigtableからユーザー固有のデータをアドホックに結合する必要があります。SpannerのバックアップはCloud Storageにエクスポートされます。これを可能な限り効率的に行うには、どうすればよいですか？

このシナリオでは、Cloud SpannerのバックアップはCloud Storageにエクスポートされており、Cloud Bigtableと結合する必要があります。最も効率的な方法は、BigQueryの外部テーブル機能を利用することです。Cloud StorageのSpannerエクスポートデータとCloud Bigtableの両方に対してBigQuery外部テーブルを作成することで、データを移動させることなく、BigQueryの強力なクエリエンジンを使用して両者を結合し、ユーザーフィルターを適用できます。 他の選択肢が不適切な理由は以下の通りです。 Dataflowジョブは、データをコピーして結合するために追加の処理とストレージを必要とし、効率が劣ります。 Cloud Dataproc Sparkジョブも同様に、データの移動と処理にオーバーヘッドが生じます。 BigtableとCloud Spannerから直接データをコピーするDataflowジョブは、SpannerのデータがすでにCloud Storageにあるため冗長です。