Masz kilka bardzo dużych plików (90 GB) do załadowania do Google Cloud i zapewnisz przepustowość dla początkowego transferu. Systemy transakcyjne muszą kontynuować aktualizowanie hurtowni danych w czasie rzeczywistym. Jakich narzędzi użyjesz do migracji masowej i bieżących zapisów?

gsutil jest odpowiednim narzędziem do migracji bardzo dużych plików (90 GB) do Google Cloud Storage, ponieważ jest to potężne narzędzie wiersza poleceń zoptymalizowane do przesyłania dużych ilości danych, w tym obsługi wznawiania przerwanych transferów. W przypadku aktualizacji w czasie rzeczywistym, Pub/Sub to usługa przesyłania wiadomości, która może odbierać dane transakcyjne w czasie rzeczywistym, a Dataflow jest idealnym narzędziem do przetwarzania strumieniowego, które może przetwarzać te dane i aktualizować hurtownię danych. Storage Transfer Service jest przeznaczony do transferów między różnymi źródłami przechowywania, a nie do przesyłania z lokalnego systemu. BigQuery Data Transfer Service służy do przesyłania danych do BigQuery z innych usług Google lub zewnętrznych źródeł, a nie do ogólnej migracji plików. Użycie gsutil do aktualizacji w czasie rzeczywistym jest niepraktyczne, ponieważ nie jest to usługa do przetwarzania strumieniowego.