Co miesiąc otrzymujesz pliki CSV od strony trzeciej; schemat zmienia się co trzeci miesiąc. Wymagania: zaplanowane wykonanie, analitycy niebędący programistami mogą modyfikować transformacje oraz graficzny projektant transformacji. Które rozwiązanie spełnia te wymagania?

Dataprep by Trifacta to narzędzie do przygotowywania danych, które idealnie pasuje do tych wymagań. Umożliwia analitykom nietechnicznym wizualne tworzenie i modyfikowanie transformacji danych bez pisania kodu, co spełnia wymóg graficznego projektanta i dostępności dla analityków. Dataprep automatycznie dostosowuje się do zmian schematu, co jest kluczowe przy miesięcznych plikach i kwartalnych zmianach. Posiada również wbudowane funkcje planowania zadań. Inne opcje są mniej odpowiednie: Użycie SQL w BigQuery wymagałoby ręcznego dostosowywania zapytań przy każdej zmianie schematu i nie oferuje graficznego interfejsu dla analityków. Potok Python Dataflow wymagałby umiejętności programistycznych od analityków i ręcznej aktualizacji kodu, co jest sprzeczne z wymaganiami. Apache Spark na Dataproc, choć potężny, również wymagałby kodowania (Spark SQL) i nie oferuje intuicyjnego interfejsu graficznego dla analityków.