Je moet ad hoc gebruikersspecifieke data uit Cloud Spanner en Cloud Bigtable samenvoegen; Spanner-backups worden geëxporteerd naar Cloud Storage. Doe dit zo efficiënt mogelijk. Wat moet je doen?

De meest efficiënte oplossing is het maken van externe BigQuery-tabellen. BigQuery kan direct query's uitvoeren op data in Cloud Storage (waar de Spanner-backups staan) en Cloud Bigtable, zonder dat de data eerst verplaatst hoeft te worden. Dit minimaliseert dataverplaatsing en overhead, wat cruciaal is voor efficiëntie bij ad-hoc analyses. Vervolgens kunnen de tabellen eenvoudig worden samengevoegd met SQL-query's en gefilterd op gebruikersspecifieke criteria. Dataflow-taken (opties 1 en 2) zouden extra ontwikkel- en uitvoeringstijd vergen voor het kopiëren van data, wat minder efficiënt is voor ad-hoc behoeften. Cloud Dataproc (optie 3) is ook een optie voor dataverwerking, maar het opzetten en beheren van een Spark-cluster is complexer en minder direct dan het gebruik van BigQuery voor dit specifieke scenario.