Een externe partner plaatst dagelijks CSV's met enkele misvormde rijen in GCS. Je moet deze in BigQuery laden en de foute rijen inspecteren. Welk pipeline-ontwerp is geschikt?

Een Dataflow batch-pipeline is de meest geschikte oplossing omdat het robuuste mogelijkheden biedt voor transformatie, validatie en foutafhandeling. Het kan de CSV-bestanden lezen, geldige rijen naar BigQuery laden en misvormde rijen omleiden naar een aparte "dead-letter" tabel voor inspectie, wat voldoet aan de vereiste om de foute rijen te inspecteren. Gefedereerde databronnen zijn niet ideaal voor het opschonen van gegevens en het afhandelen van fouten. BigQuery-monitoring in Stackdriver waarschuwt alleen voor problemen, maar lost ze niet op. Het instellen van maxbadrecords op 0 met de gcloud CLI zou het laden van de hele batch laten mislukken bij de eerste misvormde rij, wat niet voldoet aan de eis om de geldige rijen te laden en de foute te inspecteren.