Twoje środowisko lokalne (bez publicznego dostępu do internetu) generuje 100 GB ustrukturyzowanych plików JSON dziennie. Jak przenieść i zaimportować te dane do BigQuery w celu wykonywania zapytań i eksploracji?

Poprawna odpowiedź to użycie Transfer Service for on-premises data do skopiowania danych ze środowiska lokalnego do Cloud Storage, a następnie BigQuery Data Transfer Service do zaimportowania danych do BigQuery. Transfer Service for on-premises data (część Storage Transfer Service) jest przeznaczony do bezpiecznego i wydajnego przesyłania dużych ilości danych ze środowisk lokalnych do Cloud Storage, co jest kluczowe w przypadku braku publicznego dostępu do internetu. Po umieszczeniu danych w Cloud Storage, BigQuery Data Transfer Service może automatycznie importować je do BigQuery, umożliwiając wykonywanie zapytań. Pozostałe opcje są nieodpowiednie: Cloud Scheduler służy do planowania zadań, a nie bezpośredniego transferu danych ze środowiska lokalnego bez dostępu do internetu. Transfer Appliance jest przeznaczony do bardzo dużych transferów danych (terabajty lub petabajty), a 100 GB dziennie jest zbyt małą ilością, aby uzasadniać jego użycie. BigQuery Data Transfer Service dataset copy służy do kopiowania istniejących zbiorów danych w BigQuery, a nie do importowania danych ze źródeł zewnętrznych.