Używając Dataform do ELT w BigQuery, musisz wykonać sprawdzenia unikalności i wartości null na tabelach końcowych. Jak efektywnie zintegrować te sprawdzenia z potokiem?

Dodanie asercji Dataform bezpośrednio do kodu Dataform jest najbardziej efektywnym i zintegrowanym sposobem na wykonanie sprawdzeń unikalności i wartości null. Asercje Dataform są zaprojektowane do weryfikacji jakości danych w ramach potoku ELT, automatycznie generując i uruchamiając zapytania testujące po każdej kompilacji i uruchomieniu tabeli. W przypadku niepowodzenia asercji, potok może zostać zatrzymany, co zapobiega propagacji błędnych danych. Implementowanie funkcji użytkownika BigQuery (UDFs) byłoby mniej efektywne, ponieważ wymagałoby ręcznego wywoływania tych funkcji i zarządzania logiką testowania poza zintegrowanym frameworkiem Dataform. Tworzenie zadań jakości danych Dataplex jest możliwe, ale Dataform oferuje bardziej natywne i ściślejsze powiązanie z procesem transformacji. Napisanie procedury składowanej opartej na Sparku jest niepotrzebnie złożone i niepasujące do ekosystemu BigQuery i Dataform, wprowadzając dodatkową technologię i złożoność zarządzania.