Yapay zeka modellerini ve analizleri beslemeden önce, reklam verilerinin uzun kuyruklu ve aykırı noktalarını belirlemek için neredeyse gerçek zamanlı temizliğe ihtiyacınız var. Ne kullanmalısınız?

Doğru cevap, uzun kuyruklu ve aykırı veri noktalarını programlı olarak tanımlamak için Dataflow'u ve sink olarak BigQuery'yi kullanmaktır. Dataflow, akış verilerini neredeyse gerçek zamanlı olarak işlemek ve dönüştürmek için tasarlanmış yönetilen bir hizmettir. Bu, reklam verilerindeki uzun kuyruklu ve aykırı değerleri belirlemek ve temizlemek için idealdir. BigQuery ise temizlenmiş verileri depolamak ve analiz etmek için ölçeklenebilir bir veri ambarı görevi görür. Diğer seçenekler neden doğru değil: Cloud Storage'ı veri ambarı olarak kullanmak ve shell script'lerle işlemek, neredeyse gerçek zamanlı temizlik için yeterince ölçeklenebilir veya verimli değildir. BigQuery'yi tüm veri alımı, hazırlığı ve analizi için kullanmak, akış verilerinde programlı temizlik ve anomali tespiti için en uygun çözüm değildir. BigQuery, daha çok depolama ve SQL tabanlı analiz için tasarlanmıştır. Cloud Composer, iş akışlarını düzenlemek için kullanılır, ancak doğrudan veri temizleme veya aykırı değer tespiti için birincil araç değildir. Bu görevler için Dataflow gibi bir işleme motoruna ihtiyaç duyar.