Seu ambiente on-prem (sem internet pública) gera 100 GB/dia de arquivos JSON estruturados. Como você deve mover e importar esses dados para o BigQuery para consulta e exploração?

A opção correta é usar o Transfer Service for on-premises data para mover os arquivos JSON para o Cloud Storage e, em seguida, o BigQuery Data Transfer Service para importá-los para o BigQuery. O Transfer Service for on-premises data é projetado especificamente para transferir grandes volumes de dados de ambientes on-premises sem conectividade direta com a internet pública, como o cenário descrito. Após os dados estarem no Cloud Storage, o BigQuery Data Transfer Service é a ferramenta ideal para automatizar a importação programada para o BigQuery. As outras opções são menos adequadas: O Cloud Scheduler não é uma ferramenta para copiar dados de ambientes on-premises; ele serve para agendar tarefas. O Transfer Appliance é para transferências de dados muito grandes (terabytes a petabytes) e não para um volume diário de 100 GB. A cópia de conjunto de dados do BigQuery Data Transfer Service é para copiar dados entre conjuntos de dados do BigQuery, não para importar de fontes externas.