Eingehende Daten werden in BigQuery geschrieben, sind aber "dirty" (fehlerhaft); Sie benötigen einen automatisierten täglichen Datenqualitäts-/Bereinigungsprozess, der die Kosten kontrolliert. Was sollten Sie implementieren?

Cloud Dataprep ist ein serverloser Datenvorbereitungsdienst, der speziell für die Bereinigung und Transformation von Daten entwickelt wurde. Er bietet eine visuelle Oberfläche, die das Erkennen und Beheben von Datenqualitätsproblemen vereinfacht und sich gut für wiederkehrende, geplante Bereinigungsprozesse eignet. Die Integration mit BigQuery als Quelle und Ziel ist nahtlos, und die Kosten werden durch das Pay-as-you-go-Modell kontrolliert. Ein Streaming Cloud Dataflow-Job wäre für Echtzeit-Verarbeitung geeignet, aber für einen täglichen Batch-Prozess überdimensioniert und potenziell teurer. Eine Cloud Function, die von einer Compute Engine-Instanz ausgelöst wird, erfordert mehr manuellen Aufwand für Entwicklung und Wartung. Eine SQL-View in BigQuery kann Daten transformieren, bietet aber nicht die umfassenden Datenqualitätsfunktionen und die Benutzerfreundlichkeit von Dataprep für die Bereinigung "schmutziger" Daten.