Pub/Sub konusundan gelen uygulama olaylarını ayrık saatlik aralıklarla toplamanız ve sonuçları büyük ölçekte BigQuery'ye yüklemeniz gerekiyor. Hangi işleme mimarisini kullanmalısınız?

Doğru cevap, Pub/Sub'dan sürekli okuyan ve yuvarlanan (saatlik) pencereler kullanarak toplama yapan bir akış Dataflow işi çalıştırmaktır. Bunun nedeni, Dataflow'un büyük ölçekli veri işleme ve pencereleme yetenekleriyle akış verilerini (Pub/Sub'dan gelenler gibi) gerçek zamanlı olarak işlemek için tasarlanmış olmasıdır. Yuvarlanan saatlik pencereler, verileri her saatte bir toplamanızı ve BigQuery'ye yüklemenizi sağlar. Diğer seçenekler neden yanlış: Her Pub/Sub mesajında tetiklenen bir Cloud Function kullanmak, her mesaj için ayrı bir işlev çağrısı oluşturarak pahalı ve verimsiz olabilir, ayrıca saatlik toplama gereksinimini karşılamaz. Cloud Function'ı saatlik olarak zamanlamak, Pub/Sub'dan tüm mevcut mesajları çekip toplamak için uygun değildir çünkü Cloud Functions tek bir çağrıda büyük miktarda veriyi işlemek için tasarlanmamıştır ve akış verileri için sürekli bir işlem modeli sunmaz. Toplu Dataflow işini saatlik olarak zamanlamak, her saatte bir yeni bir iş başlatır ve bu da gecikmelere ve kaynak israfına yol açabilir. Akış verileri için sürekli çalışan bir akış işi daha verimlidir.