Sie benötigen eine programmatische, kostengünstige Pipeline, um lokale Daten mit optionalen Streaming- oder Batch-Modi in BigQuery zu migrieren und vertrauliche Felder vor dem Laden zu maskieren. Welcher Ansatz erfüllt diese Anforderungen?

Dieser Ansatz ist korrekt, da Dataflow mit Apache Beam die Flexibilität bietet, sowohl Streaming- als auch Batch-Modi zu unterstützen und programmatisch anpassbare Pipelines zu erstellen. Die Integration von Cloud DLP direkt in die Pipeline ermöglicht die Maskierung vertraulicher Felder vor dem Laden in BigQuery, was die Vertraulichkeit der Daten gewährleistet und die Anforderungen an die Kosteneffizienz erfüllt. Cloud Data Fusion ist zwar leistungsstark, aber möglicherweise nicht die kostengünstigste Option für eine rein programmatische Pipeline und das DLP-Plugin maskiert die Daten nicht vor dem Laden. Der BigQuery Data Transfer Service ist für die Migration gut geeignet, aber die De-Identifikation nach dem Laden in BigQuery widerspricht der Anforderung, vertrauliche Felder vor dem Laden zu maskieren. Datastream ist für die Replikation konzipiert, bietet aber keine integrierte Funktionalität zur Datenmaskierung vor dem Laden.