Zadanie strumieniowe Dataflow odczytuje dane ze źródła bez gwarancji dostarczania dokładnie raz (exactly-once delivery), przekształca wiadomości i zapisuje je do BigQuery. Oczekiwane tempo pozyskiwania danych to około 1,5 GB/s. Jak osiągnąć dostarczanie dokładnie raz do BigQuery?
Wybierz odpowiedź
Dotknij opcji, aby sprawdzić swoją odpowiedź.
Poprawna odpowiedź: Użyj BigQuery Storage Write API i upewnij się, że docelowa tabela BigQuery jest wieloregionalna..
Dlaczego to jest odpowiedź
Aby osiągnąć dostarczanie dokładnie raz (exactly-once delivery) do BigQuery w Dataflow, należy użyć BigQuery Storage Write API. To API obsługuje semantykę dokładnie raz poprzez użycie przesunięć (offsets) i identyfikatorów strumieni, co pozwala na deduplikację danych. Dodatkowo, docelowa tabela BigQuery powinna być wieloregionalna (multi-regional). Tabela wieloregionalna zapewnia wyższą dostępność i odporność na awarie, co jest kluczowe dla niezawodnego zapisu danych w scenariuszach o wysokiej przepustowości, takich jak 1,5 GB/s. Użycie BigQuery Streaming API nie gwarantuje dostarczania dokładnie raz, ponieważ może prowadzić do duplikatów. Wybór tabeli regionalnej zamiast wieloregionalnej zwiększa ryzyko niedostępności w przypadku awarii regionalnej, co może zakłócić proces zapisu.
Zdaj egzamin — bez niekończącego się szukania odpowiedzi
Uzyskaj wszystkie zweryfikowane pytania i wyjaśnienia do tego egzaminu w jednym miejscu i zaoszczędź godziny przygotowań. Ponad 1000 certyfikacji · Ponad 20 języków · Zacznij za darmo.
Zdaj egzamin szybciej → Karta nie jest wymagana