Kod şu anda BigQuery'ye birçok küçük satır ekliyor. Hangi değişiklik verimi artırır?

BigQuery'ye birçok küçük satır eklerken verimi artırmanın en etkili yolu, ekleme isteği başına birden çok satır eklemektir. BigQuery'nin akış ekleme (streaming inserts) API'si, tek bir istekte birden fazla satır göndermenize olanak tanır. Bu, her satır için ayrı bir istek göndermenin getirdiği ağ gecikmesi ve API çağrısı yükünü azaltarak genel verimi önemli ölçüde artırır. Diğer seçenekler neden doğru değil: Eklemeleri birden çok iş parçacığı kullanarak paralel olarak gerçekleştirmek, ağ gecikmesini azaltmaz ve her iş parçacığının yine de tek tek satırlar için ayrı istekler göndermesi gerekebilir, bu da verimi sınırlayabilir. Her satırı bir Cloud Storage nesnesine yazıp ardından BigQuery'ye yüklemek, her satır için ayrı bir dosya oluşturmak anlamına gelir ki bu, küçük dosyaların yönetim yükü nedeniyle çok verimsizdir. Her satırı paralel olarak Cloud Storage'a yazıp ardından BigQuery'ye yüklemek de benzer şekilde verimsizdir ve ek bir depolama katmanı ekleyerek karmaşıklığı artırır. BigQuery'ye toplu yükleme için genellikle daha büyük dosyalar tercih edilir.