Você tem alguns arquivos muito grandes (90 GB) para carregar no Google Cloud e fornecerá largura de banda para a transferência inicial. Os sistemas transacionais devem continuar atualizando o data warehouse em tempo real. Quais ferramentas você usa para migração em massa e gravações contínuas?

A opção correta é gsutil para a migração; Pub/Sub e Dataflow para as atualizações em tempo real. Para a migração inicial de arquivos grandes (90 GB), gsutil é uma ferramenta de linha de comando eficiente e robusta para transferir dados para o Cloud Storage. Para atualizações contínuas e em tempo real, o Pub/Sub é ideal como um serviço de mensagens assíncronas para ingerir os dados de eventos. O Dataflow é a escolha adequada para processar esses fluxos de dados em tempo real e carregá-los no data warehouse, pois é um serviço totalmente gerenciado para execução de pipelines de processamento de dados em lote e em fluxo. Storage Transfer Service seria uma opção para migrações maiores e mais complexas, mas para 90 GB, gsutil é suficiente e direto. BigQuery Data Transfer Service é para transferir dados de fontes específicas para o BigQuery, não para arquivos arbitrários. Usar gsutil para atualizações em tempo real não é viável, pois ele é uma ferramenta de transferência de arquivos, não um pipeline de streaming.