監控多個專案中的 BigQuery、Dataflow 和 Dataproc 管線，並在發生故障時使用託管式 GCP 功能通知管線團隊。您應該怎麼做？

正確答案是將管線指標/日誌匯出到 Cloud Monitoring 並建立警示政策。Cloud Monitoring 是 GCP 原生且託管的監控解決方案，它能自動收集 BigQuery、Dataflow 和 Dataproc 等服務的指標和日誌。透過建立警示政策，您可以定義故障條件並自動通知管線團隊，這是最直接且高效的方法。 執行帶有 Airflow 的 Compute Engine VM 並匯出監控資料到 Cloud Monitoring 雖然可行，但增加了管理開銷，且 Airflow 主要用於工作流程編排而非即時監控和警示。將日誌匯出到 BigQuery 並使用 App Engine 讀取日誌，或開發 App Engine 應用程式輪詢日誌，這兩種方法都需要額外的開發和維護工作，且不如 Cloud Monitoring 的整合式解決方案即時和自動化。