Przesyłanie strumieniowe danych IoT z Cloud Pub/Sub przez Dataflow do BigQuery wykazuje około 2% uszkodzonych rekordów w podglądzie. Jak należy zmodyfikować potok Cloud Dataflow, aby odfiltrować uszkodzone dane?
Wybierz odpowiedź
Dotknij opcji, aby sprawdzić swoją odpowiedź.
Poprawna odpowiedź: Dodaj transformację ParDo w Cloud Dataflow, aby odrzucić uszkodzone elementy..
Dlaczego to jest odpowiedź
Transformacja ParDo jest podstawowym elementem w Dataflow do przetwarzania elementów w kolekcji PCollection. Może być użyta do zaimplementowania logiki filtrującej, która sprawdza każdy rekord pod kątem poprawności i odrzuca te uszkodzone, emitując tylko prawidłowe rekordy do następnego etapu potoku. SideInput służy do dostarczania dodatkowych danych do transformacji, a nie do filtrowania pojedynczych elementów. Transformacja Partition dzieli PCollection na wiele PCollection na podstawie funkcji, co jest użyteczne do rozdzielania danych na różne kategorie, ale nie do odrzucania uszkodzonych rekordów bez dalszej obróbki. GroupByKey służy do grupowania elementów o tym samym kluczu i nie jest odpowiednia do filtrowania uszkodzonych danych.
Zdaj egzamin — bez niekończącego się szukania odpowiedzi
Uzyskaj wszystkie zweryfikowane pytania i wyjaśnienia do tego egzaminu w jednym miejscu i zaoszczędź godziny przygotowań. Ponad 1000 certyfikacji · Ponad 20 języków · Zacznij za darmo.
Zdaj egzamin szybciej → Karta nie jest wymagana