Musisz bezpiecznie i szybko przenieść 10 TB wrażliwych danych pacjentów z relacyjnej bazy danych do BigQuery. Które podejście do transferu spełnia wymagania dotyczące bezpieczeństwa i czasu?

Prawidłowa odpowiedź to użycie Transfer Appliance. Transfer Appliance to fizyczne urządzenie, które umożliwia bezpieczny i szybki transfer dużych ilości danych (terabajty do petabajtów) do Google Cloud, co jest idealne dla 10 TB danych. Zapewnia szyfrowanie danych w transporcie i w spoczynku, spełniając wymagania bezpieczeństwa dla wrażliwych danych pacjentów. Eksport danych do formatu Avro jest dobrym wyborem, ponieważ Avro jest formatem binarnym, kompaktowym i obsługuje schematy, co ułatwia ładowanie do BigQuery. Pozostałe opcje są mniej odpowiednie: Użycie gsutil do przesyłania 10 TB danych przez internet może być czasochłonne i podatne na błędy, zwłaszcza w przypadku niestabilnego połączenia. Tworzenie publicznego adresu URL dla wrażliwych danych pacjentów jest poważnym naruszeniem bezpieczeństwa i nie spełnia wymagań. Storage Transfer Service jest przydatny, ale nie rozwiązuje problemu początkowego przesyłania danych z lokalnej bazy danych do Cloud Storage w sposób bezpieczny i szybki dla tak dużej objętości bez Transfer Appliance. Dodatkowo, pliki CSV są mniej efektywne niż Avro dla BigQuery.