Sie benötigen eine GUI-basierte Objektsenke in Cloud Storage, die kundenseitig verwaltete Verschlüsselungsschlüssel (CMEK) unterstützt und verschiedene Dateiformate (Parquet, CSV) akzeptiert. Welches Tool sollten Sie verwenden?

Cloud Data Fusion ist eine vollständig verwaltete, cloudnative Datenintegrationsplattform, die auf CDAP (Cask Data Application Platform) basiert. Sie bietet eine grafische Benutzeroberfläche (GUI) für die Erstellung von ETL/ELT-Pipelines und unterstützt eine Vielzahl von Datenquellen und -senken, einschließlich Cloud Storage. Wichtig ist, dass Cloud Data Fusion die Verwendung von kundenseitig verwalteten Verschlüsselungsschlüsseln (CMEK) für Cloud Storage-Senken unterstützt und verschiedene Dateiformate wie Parquet und CSV verarbeiten kann. Der Storage Transfer Service ist für große, einmalige oder wiederkehrende Datenübertragungen zwischen verschiedenen Speicherorten konzipiert, bietet aber keine GUI für die Pipeline-Erstellung oder direkte CMEK-Verwaltung für die Senke. Dataflow ist ein leistungsstarkes Tool für Batch- und Stream-Verarbeitung, erfordert jedoch in der Regel das Schreiben von Code (z.B. Apache Beam) und ist keine GUI-basierte Objektsenke im Sinne der Frage. Der BigQuery Data Transfer Service ist speziell für die Übertragung von Daten nach BigQuery gedacht und nicht für das Verschieben von Dateien in Cloud Storage als Objektsenke.