Co 30 minut otrzymujesz średnie ceny 100 popularnych towarów i potrzebujesz, aby były one aktualne w BigQuery do tanich złączeń. Które podejście jest najlepsze?

Najlepszym podejściem jest przechowywanie i aktualizowanie danych w regionalnym zasobniku Cloud Storage oraz utworzenie sfederowanej tabeli zewnętrznej BigQuery. Pozwala to na dostęp do aktualnych danych w BigQuery bez konieczności ich fizycznego ładowania, co jest efektywne kosztowo i operacyjnie dla często aktualizowanych, relatywnie małych zbiorów danych. BigQuery może bezpośrednio odpytywać pliki w Cloud Storage. Ładowanie danych co 30 minut do nowej partycjonowanej tabeli w BigQuery generowałoby wiele małych tabel lub partycji, co jest nieefektywne i kosztowne. Przechowywanie danych w Cloud Datastore jest przeznaczone dla baz danych NoSQL i wymagałoby dodatkowych kroków do integracji z BigQuery, co jest bardziej złożone. Użycie Cloud Dataflow do programowego scalania danych z BigQuery (zarówno z Cloud Datastore, jak i z pliku w Cloud Storage) wprowadza niepotrzebną złożoność i koszty dla prostego zadania aktualizacji danych.