Przesłano 5 lat logów do Cloud Storage i znaleziono wartości spoza zakresu wskazujące na błędy. Musisz poprawić wartości, zachować oryginały dla zgodności i mieć możliwość ponownego uruchomienia procesu. Co należy zrobić?

Poprawna odpowiedź to stworzenie potoku Dataflow, który odczytuje dane z Cloud Storage, zastępuje wartości spoza zakresu odpowiednimi wartościami domyślnymi i zapisuje poprawione rekordy do nowego zestawu danych w Cloud Storage. Dataflow to zarządzana usługa do przetwarzania danych wsadowych i strumieniowych, idealna do transformacji dużych zbiorów danych, takich jak 5 lat logów. Zapisanie poprawionych danych do nowego zestawu danych w Cloud Storage zapewnia zachowanie oryginalnych danych dla zgodności oraz umożliwia ponowne uruchomienie procesu w razie potrzeby. Pozostałe opcje są mniej odpowiednie: Importowanie do BigQuery i pomijanie wierszy z błędami nie poprawia danych, a jedynie je odrzuca, co nie jest celem. Tworzenie instancji Compute Engine i ręczne kopiowanie danych jest mniej skalowalne i bardziej pracochłonne niż Dataflow. Zapisywanie poprawionych rekordów z powrotem do tego samego zestawu danych w Cloud Storage spowodowałoby nadpisanie oryginalnych danych, co narusza wymóg zachowania oryginałów dla zgodności.