Wöchentliche Berichte aus BigQuery weisen inkonsistente Formate auf (Telefonformate, Ländercodes). Sie benötigen einen wiederkehrenden Job ohne Code, um die Daten zu normalisieren. Was verwenden Sie?

Cloud Data Fusion ist eine vollständig verwaltete, cloudbasierte Datenintegrationsplattform, die auf CDAP (Cask Data Application Platform) basiert. Sie bietet eine grafische Benutzeroberfläche (GUI) und den "Wrangler", ein interaktives Tool zur Datenbereinigung und -transformation ohne Code. Dies ermöglicht es Ihnen, inkonsistente Datenformate visuell zu normalisieren und anschließend einen wiederkehrenden Job zu planen, um diese Transformationen automatisch anzuwenden. Dataflow SQL erfordert SQL-Kenntnisse und ist eher für Streaming-Daten oder komplexe Transformationen gedacht, die nicht visuell gelöst werden können. Ein Spark-Job auf Dataproc Serverless erfordert das Schreiben von Code (z.B. Scala, Python) und ist daher keine "No-Code"-Lösung. BigQuery und GoogleSQL sind zwar leistungsstark für Transformationen, erfordern aber ebenfalls SQL-Kenntnisse und bieten nicht die visuelle No-Code-Datenbereinigung, die der Wrangler in Data Fusion bietet, um inkonsistente Formate interaktiv zu beheben.