Przychodzące dane są zapisywane w BigQuery, ale są zanieczyszczone; potrzebujesz zautomatyzowanego, codziennego procesu czyszczenia i kontroli jakości danych, który kontroluje koszty. Co należy zaimplementować?

Cloud Dataprep to zarządzana usługa do wizualnego eksplorowania, czyszczenia i przygotowywania danych. Jest idealna do tego scenariusza, ponieważ pozwala na łatwe definiowanie reguł czyszczenia i transformacji danych bez pisania kodu, a następnie planowanie codziennych zadań. Integracja z BigQuery jako źródłem i miejscem docelowym jest płynna, a model rozliczeniowy oparty na użyciu pomaga kontrolować koszty. Strumieniowe zadanie Cloud Dataflow jest przeznaczone do przetwarzania danych w czasie rzeczywistym, a nie do codziennego czyszczenia wsadowego. Cloud Function z instancją Compute Engine wprowadza niepotrzebną złożoność i koszty zarządzania. Widok SQL w BigQuery nie zapewnia automatycznego czyszczenia ani kontroli jakości danych, a jedynie logiczną reprezentację danych.