Analiz için zaman serisi işlem verilerini BigQuery'ye kopyalamak üzere bir işlem hattına ihtiyacınız var. Veri kümesinin başlangıç boyutu 1,5 PB olup günde 3 TB büyümektedir; binlerce işlem saatlik olarak yeni durumlarla güncellenmektedir. Veriler yoğun bir şekilde yapılandırılmıştır ve ML için kullanılmaktadır. Performansı ve kullanılabilirliği en üst düzeye çıkarmak için hangi iki stratejiyi benimsersiniz?

Verileri mümkün olduğunca denormalize etmek, BigQuery'nin sütun tabanlı mimarisinden en iyi şekilde yararlanarak sorgu performansını artırır. Birleştirme (JOIN) maliyetlerini azaltır ve karmaşık sorguları basitleştirir, bu da büyük veri kümelerinde önemlidir. Durum güncellemelerinin güncellenmek yerine BigQuery'ye eklenmesini sağlayan bir veri işlem hattı geliştirmek, BigQuery'nin ekleme (append) odaklı yapısına uygun bir yaklaşımdır. Bu, veri bütünlüğünü korur, geçmiş durumların izlenmesini kolaylaştırır ve UPDATE işlemlerinin getireceği performans düşüşlerini ve maliyet artışlarını önler. Verilerin yapısını korumak denormalizasyonun faydalarını ortadan kaldırırken, BigQuery UPDATE kullanmak büyük veri kümelerinde pahalı ve verimsiz olabilir. Cloud Storage'a günlük anlık görüntü kopyalamak ve harici kaynak olarak kullanmak, BigQuery'nin dahili depolama ve sorgu optimizasyonlarından tam olarak yararlanmayı engeller.