Alle Daten in BigQuery befinden sich in US-Regionen; Objektspeicher in AWS und Azure (USA) enthalten ebenfalls Daten. Sie benötigen tägliche Abfragen über alle Daten hinweg mit minimaler Datenverschiebung. Welche Option wählen Sie?

Die korrekte Option ist die Verwendung von BigQuery Omni mit BigLake-Tabellen. BigQuery Omni ermöglicht es Ihnen, Daten in AWS und Azure direkt von BigQuery aus abzufragen, ohne die Daten physisch nach Google Cloud zu verschieben. In Kombination mit BigLake-Tabellen, die Metadaten und Zugriffskontrollen für externe Daten bereitstellen, wird eine effiziente Abfrage über alle Datenquellen hinweg mit minimaler Datenverschiebung erreicht. Die anderen Optionen sind weniger optimal: Der BigQuery Data Transfer Service und Dataflow-Pipelines würden eine tägliche Datenverschiebung nach BigQuery erfordern, was dem Ziel "minimale Datenverschiebung" widerspricht. Das Laden von Dateien mit gsutil rsync in Cloud Storage würde ebenfalls eine Datenverschiebung bedeuten und wäre für tägliche Abfragen über alle Daten hinweg weniger effizient als BigQuery Omni.