Bir üretim tesisi her gün saat 02:00'de tek bir günlük log dosyası üretir. Bu dosyayı günde bir kez mümkün olduğunca ucuza işlemek için bir Cloud Dataflow işiniz var. Ne yapmalısınız?

Günlük log dosyasını her gün aynı saatte işlemek için en uygun ve maliyet etkin çözüm, Cloud Dataflow işini belirli bir zamanda tetiklemektir. App Engine Cron işleri, bu tür düzenli ve zamanlanmış görevleri otomatikleştirmek için tasarlanmıştır. Bu sayede, log dosyası oluştuğunda Dataflow işi otomatik olarak başlatılır ve manuel müdahaleye gerek kalmaz. Cloud Dataproc kullanmak, mevcut Dataflow işini yeniden yazmayı gerektirir ve bu da ek maliyet ve çaba demektir. İşin manuel olarak başlatılması otomasyonu ortadan kaldırır ve insan hatasına açıktır. Log verilerini anında işlemek için streaming Dataflow işine dönüştürmek, tek bir günlük dosyasını işlemek için gereksiz yere karmaşık ve daha pahalı bir çözümdür, çünkü veriler zaten toplu olarak gelmektedir.