Je on-prem omgeving (geen openbaar internet) genereert 100 GB/dag aan gestructureerde JSON-bestanden. Hoe moet je deze gegevens verplaatsen en importeren in BigQuery voor querying en exploratie?

De correcte aanpak is om Transfer Service for on-premises data te gebruiken om de 100 GB/dag aan gestructureerde JSON-bestanden van uw on-premise omgeving naar Cloud Storage te kopiëren. Deze service is specifiek ontworpen voor het overbrengen van grote hoeveelheden gegevens van on-premise locaties naar Google Cloud, vooral wanneer er geen directe internettoegang is. Zodra de gegevens in Cloud Storage staan, kunt u de BigQuery Data Transfer Service gebruiken om deze bestanden efficiënt in BigQuery te importeren voor querying en exploratie. De andere opties zijn minder geschikt: Cloud Scheduler is een taakplanner en geen tool voor gegevensoverdracht. Transfer Appliance is bedoeld voor zeer grote eenmalige overdrachten (petabytes) en niet voor dagelijkse, incrementele overdrachten van 100 GB. BigQuery Data Transfer Service dataset copy is voor het kopiëren van datasets binnen BigQuery zelf, niet voor het importeren van externe bestanden.