Her 30 dakikada bir 100 yaygın ürün için ortalama fiyatlar alıyorsunuz ve bunları ucuz birleştirmeler (join) için BigQuery'de güncel tutmanız gerekiyor. Hangi yaklaşım en iyisidir?

Doğru cevap, verileri bölgesel bir Cloud Storage paketinde depolayıp güncelleyerek ve ardından birleştirilmiş bir BigQuery harici tablo oluşturmaktır. Bu yaklaşım, BigQuery'nin dış tablolara doğrudan erişim yeteneği sayesinde verileri BigQuery'ye yüklemeden güncel tutmanızı sağlar. Cloud Storage'daki dosya güncellendiğinde, BigQuery dış tablosu otomatik olarak en son verileri yansıtır ve bu, sık güncellemeler için en verimli yoldur. Diğer seçenekler neden yanlış: Verileri her 30 dakikada bir BigQuery'de yeni bölümlenmiş bir tabloya yüklemek, her güncelleme için yeni bir tablo oluşturarak maliyeti ve karmaşıklığı artırır. Verileri Cloud Datastore'da depolamak ve Cloud Dataflow ile birleştirmek, gereksiz bir ara katman ve ek işlem maliyeti getirir. Datastore, bu tür toplu analizler için optimize edilmemiştir. Verileri Cloud Storage'daki bir dosyada depolamak ve Cloud Dataflow ile birleştirmek, her birleştirme işlemi için Dataflow işi çalıştırmayı gerektirir, bu da daha yüksek gecikme ve maliyet anlamına gelir. Harici tablo yaklaşımı, bu ara adımı ortadan kaldırır.