Il tuo ambiente on-prem (senza internet pubblico) genera 100 GB/giorno di file JSON strutturati. Come dovresti spostare e importare questi dati in BigQuery per l'interrogazione e l'esplorazione?

L'opzione corretta è usare il Transfer Service for on-premises data per copiare i dati in Cloud Storage e poi il BigQuery Data Transfer Service per importarli in BigQuery. Il Transfer Service for on-premises data è progettato specificamente per trasferire grandi volumi di dati da ambienti on-premise a Cloud Storage, anche senza accesso diretto a internet pubblico, utilizzando un agente di trasferimento. Successivamente, il BigQuery Data Transfer Service è lo strumento ideale per automatizzare l'importazione di dati da Cloud Storage a BigQuery. Le altre opzioni sono meno adatte: Cloud Scheduler non è uno strumento per il trasferimento di dati on-premise, ma per la pianificazione di attività. Transfer Appliance è più adatto per trasferimenti di dati di petabyte, non per 100 GB/giorno. La copia del dataset del BigQuery Data Transfer Service è per la copia di dataset tra progetti BigQuery, non per l'ingestione da fonti esterne.