Herkese açık internet erişimi olmayan şirket içi ortamınız günde 100 GB yapılandırılmış JSON dosyası oluşturuyor. Bu verileri sorgulama ve keşif için BigQuery'ye nasıl taşımalı ve içe aktarmalısınız?

Şirket içi verileri Cloud Storage'a güvenli ve verimli bir şekilde taşımak için Transfer Service for on-premises data (şirket içi veriler için Transfer Hizmeti) idealdir. Bu hizmet, büyük veri kümelerini internet üzerinden aktarmak için optimize edilmiştir. Veriler Cloud Storage'a ulaştıktan sonra, BigQuery Data Transfer Service (BigQuery Veri Aktarım Hizmeti) ile BigQuery'ye otomatik ve programlı yüklemeler yapılandırılabilir, bu da günlük 100 GB JSON verisi için uygun bir çözümdür. Diğer seçenekler: Cloud Scheduler, dosya kopyalama işlerini tetikleyebilir ancak şirket içi ortamdan Cloud Storage'a büyük veri aktarımları için doğrudan bir aktarım mekanizması sağlamaz ve bu ölçekte verimli olmayabilir. Transfer Appliance, çok büyük (petabaytlarca) veya bant genişliği kısıtlı durumlar için fiziksel bir cihazdır; günlük 100 GB için aşırıya kaçan bir çözümdür. BigQuery Data Transfer Service dataset copy (BigQuery Veri Aktarım Hizmeti veri kümesi kopyalama), zaten BigQuery'de bulunan veri kümelerini kopyalamak içindir, şirket içi verileri BigQuery'ye aktarmak için değildir.