外部合作夥伴每天將包含一些格式錯誤資料列的 CSV 檔案放入 GCS 中。您需要將這些資料載入 BigQuery 並檢查錯誤的資料列。哪種管線設計是合適的？

此情境需要處理格式錯誤的資料列，並將其隔離以供後續分析。Google Cloud Dataflow 批次管線是最佳選擇，因為它能提供強大的 ETL (萃取、轉換、載入) 功能。透過 Dataflow，您可以定義自訂邏輯來讀取 CSV 檔案、識別並處理錯誤資料列，然後將正確的資料載入 BigQuery。錯誤資料列可以導向至一個「死信表」(dead-letter table)，以便進行詳細檢查，這符合題幹中「檢查錯誤的資料列」的要求。 其他選項不適用： 使用聯合資料來源並在 SQL 查詢中檢查資料：聯合資料來源無法在載入前處理錯誤資料，且在 SQL 中檢查錯誤會導致載入失敗或資料不完整。 在 Google Stackdriver 中啟用 BigQuery 監控並建立警示：這只能監控 BigQuery 的操作狀態，無法處理或隔離錯誤資料列。 使用 gcloud CLI 將資料匯入 BigQuery，並將 maxbadrecords 設定為 0：這會導致任何錯誤資料列都使整個載入作業失敗，無法將正確資料載入，也無法隔離錯誤資料。