Gelen veriler BigQuery'ye yazılıyor ancak kirli; maliyeti kontrol eden otomatik günlük veri kalitesi/temizleme sürecine ihtiyacınız var. Ne uygulamalısınız?

Cloud Dataprep, kirli verileri temizlemek ve dönüştürmek için tasarlanmış, sunucusuz ve görsel bir hizmettir. BigQuery tablolarını doğrudan kaynak olarak kullanabilir ve günlük olarak çalışacak bir temizleme işi planlayabilirsiniz, bu da maliyetleri kontrol altında tutarken otomatik bir çözüm sunar. Diğer seçenekler: Akışlı Cloud Dataflow işi, gerçek zamanlı işleme için daha uygundur ve günlük temizleme için aşırıya kaçabilir. Cloud Function ve Compute Engine kombinasyonu, daha fazla yönetim yükü getirir ve Dataprep'in sunduğu görsel arayüz ve yerleşik temizleme özelliklerinden yoksundur. BigQuery'de görünüm oluşturmak, veriyi fiziksel olarak temizlemez; sadece temizlenmiş bir görünüm sunar ve sonuçları yeni bir tabloya kaydetme süreci ek yönetim gerektirir.