Yüzlerce tabloyu işlemek için verimli, sürdürülebilir bir iş akışına ihtiyacınız var: dosyalar Cloud Storage'a beklenmedik bir şekilde düşüyor, Dataproc dönüşümleri yapıyor ve BigQuery'ye yazıyor, ardından tabloya özel BigQuery dönüşümleri çalışıyor (saatler sürebilir). En iyi iş akışı tasarımı nedir?

Doğru cevap, Cloud Storage'a dosya düştüğünde iş akışını tetiklemek için bir Cloud Function kullanır. Bu, beklenmedik dosya düşüşlerini ele almak için olay tabanlı bir yaklaşım sağlar. Her tablo için ayrı bir DAG oluşturmak, uzun süreli BigQuery dönüşümlerinin bağımsız olarak çalışmasına ve hata yalıtımına olanak tanır, bu da yüzlerce tablo için sürdürülebilirliği artırır. Cloud Composer'daki Dataproc ve BigQuery operatörleri, bu karmaşık dönüşümleri yönetmek için uygun araçlardır. Diğer seçenekler, ya olay tabanlı tetiklemeyi göz ardı ederek beklenmedik dosya düşüşlerini verimli bir şekilde ele almaz ya da tüm tablolar için tek bir DAG kullanarak karmaşıklığı ve hata riskini artırır.