外部合作伙伴每天将包含一些格式错误行的 CSV 文件放入 GCS。您需要将这些数据加载到 BigQuery 并检查错误行。哪种管道设计是合适的？

此场景需要处理包含错误的数据，并对错误行进行分析。Dataflow 批处理管道是合适的解决方案，因为它能够读取 GCS 中的 CSV 文件，在加载到 BigQuery 之前对数据进行转换和验证。Dataflow 可以识别并隔离错误行，将它们路由到单独的“死信表”（dead-letter table）进行后续分析，而将有效数据加载到主 BigQuery 表中。 使用联合数据源并在 SQL 中检查数据效率低下，且难以处理大量错误。在 Stackdriver 中启用 BigQuery 监控主要用于性能和操作警报，无法直接处理和隔离数据中的错误行。使用 gcloud CLI 并将 maxbadrecords 设置为 0 会导致整个加载失败，而不是隔离错误行。