Harici bir iş ortağı, bazı hatalı satırları içeren günlük CSV'leri GCS'ye bırakır. Bunları BigQuery'ye yüklemeniz ve hatalı satırları incelemeniz gerekiyor. Hangi pipeline tasarımı uygundur?
Bir cevap seçin
Cevabınızı kontrol etmek için bir seçeneğe dokunun.
Doğru cevap: Verileri BigQuery'ye aktarmak için bir Google Cloud Dataflow toplu işlem hattı çalıştırın ve analiz için hataları başka bir dead-letter tablosuna gönderin..
Neden bu cevap
Bu senaryoda en uygun çözüm, Google Cloud Dataflow toplu işlem hattı kullanmaktır. Dataflow, CSV dosyalarını BigQuery'ye yüklerken hatalı kayıtları tespit edebilir ve bunları ayrı bir "dead-letter" tablosuna yönlendirebilir. Bu, hem geçerli verilerin BigQuery'ye başarılı bir şekilde yüklenmesini sağlar hem de hatalı satırların daha sonra incelenmesi ve düzeltilmesi için bir mekanizma sunar. Diğer seçenekler neden uygun değil: Federated data sources kullanmak, verileri BigQuery'ye yüklemez; yalnızca harici bir kaynaktan sorgulama imkanı sunar ve hatalı satırları ayıklama yeteneği sınırlıdır. Google Stackdriver'da BigQuery izlemeyi etkinleştirmek ve uyarı oluşturmak, yükleme hatalarını bildirir ancak hatalı satırları otomatik olarak ayıklamaz veya ayrı bir yere kaydetmez. gcloud CLI kullanarak maxbadrecords değerini 0 olarak ayarlamak, tek bir hatalı kayıt bile olsa tüm yükleme işleminin başarısız olmasına neden olur ve geçerli verilerin yüklenmesini engeller.
Sonsuz cevap arayışı olmadan sınavınızı geçin
Bu sınav için her doğrulanmış soruyu ve açıklamayı tek bir yerde edinin ve saatlerce süren hazırlıktan tasarruf edin. 1.000'den fazla sertifika · 20'den fazla dil · ücretsiz başlayın.
Sınavınızı daha hızlı geçin → Kart gerekmez