Sie müssen 10 TB sensibler Patientendaten aus einer relationalen Datenbank sicher und schnell nach BigQuery verschieben. Welcher Übertragungsansatz erfüllt die Sicherheits- und Zeitanforderungen?

Die Übertragung von 10 TB sensibler Daten erfordert sowohl Sicherheit als auch Geschwindigkeit. Eine Transfer Appliance ist für große Datenmengen (mehrere TB bis PB) konzipiert, die über das Netzwerk zu lange dauern würden oder unpraktisch wären, und bietet physische Sicherheit für die Daten während des Transports. Avro ist ein effizientes binäres Format, das Metadaten enthält und sich gut für BigQuery eignet. Die BigQuery-Web-UI kann Avro-Dateien direkt laden. Die Option, die Daten direkt über gsutil hochzuladen, wäre bei 10 TB über das Netzwerk zu langsam. Das Erstellen einer öffentlichen URL für sensible Patientendaten ist ein erhebliches Sicherheitsrisiko und daher inakzeptabel. Die Verwendung einer CSV-Datei ist weniger effizient als Avro, und eine öffentliche URL ist, wie erwähnt, unsicher.