BigQuery örnekleminde bir Dataprep tarifi oluşturdunuz ve değişken tamamlanma süresine sahip bir yükleme işinden sonra bunu günlük olarak çalıştırmanız gerekiyor. Bunu nasıl otomatikleştirir ve düzenlersiniz?

Dataprep tarifini Dataflow şablonu olarak dışa aktarmak, tarifi bağımsız bir yürütülebilir birim haline getirir. Bu, Dataprep'in kendi kısıtlı zamanlama seçeneklerinin ötesinde daha gelişmiş orkestrasyon araçlarını kullanmanıza olanak tanır. Cloud Composer (Apache Airflow tabanlı), karmaşık iş akışlarını tanımlamak, zamanlamak ve izlemek için güçlü bir araçtır. Değişken tamamlanma süresine sahip yükleme işinden sonra Dataprep tarifini günlük olarak çalıştırma gereksinimi, Composer'ın bağımlılıkları yönetme ve işleri koşullu olarak tetikleme yeteneğiyle mükemmel bir şekilde eşleşir. Diğer seçenekler neden yanlış: Dataprep'te bir cron zamanlaması oluşturmak, Dataprep'in kendi sınırlı zamanlama özelliklerini kullanır ve harici bir yükleme işine bağımlılığı yönetemez. App Engine cron işi oluşturmak, Dataprep işini tetikleyebilir ancak iş akışı orkestrasyonu ve bağımlılık yönetimi için Composer kadar güçlü değildir. Tarifi bir Dataprep şablonu olarak dışa aktarmak ve Cloud Scheduler'da bir iş oluşturmak, Dataprep'in kendi zamanlama yeteneklerinin ötesine geçmez ve karmaşık bağımlılıkları yönetmez.