Hai alcuni file molto grandi (90 GB) da caricare su Google Cloud e fornirai la larghezza di banda per il trasferimento iniziale. I sistemi transazionali devono continuare ad aggiornare il data warehouse in tempo reale. Quali strumenti utilizzi per la migrazione in blocco e le scritture continue?

gsutil è uno strumento da riga di comando efficiente per il trasferimento di grandi volumi di dati (90 GB) in Google Cloud Storage, rendendolo ideale per la migrazione iniziale in blocco. Per gli aggiornamenti in tempo reale, Pub/Sub è un servizio di messaggistica asincrono che può acquisire flussi di dati da sistemi transazionali. Dataflow è un servizio completamente gestito per l'elaborazione di dati in streaming (e batch) che può consumare messaggi da Pub/Sub e aggiornare il data warehouse in tempo reale. Le altre opzioni sono meno adatte: Storage Transfer Service è più orientato a trasferimenti da altre piattaforme cloud o da sistemi on-premise su larga scala, non solo per file locali. BigQuery Data Transfer Service è specifico per il trasferimento di dati in BigQuery da origini dati predefinite, non per file generici. Usare gsutil per gli aggiornamenti in tempo reale non è scalabile né efficiente per flussi di dati continui.