您在 BigQuery 樣本上建立了 Dataprep 配方,並且需要在載入工作完成時間不固定時,每天執行該配方。您要如何自動化和協調此作業?
選擇一個答案
點擊一個選項來檢查您的答案。
正確答案: 將 Dataprep 工作匯出為 Dataflow 範本,然後將其整合到 Composer 工作中。.
為什麼這是答案
正確答案是將 Dataprep 工作匯出為 Dataflow 範本,然後將其整合到 Composer 工作中。Dataprep 雖然提供排程功能,但其排程器無法處理外部觸發器或依賴關係,因此不適合處理「載入工作完成時間不固定」的複雜情境。將 Dataprep 匯出為 Dataflow 範本,可以將其轉換為可程式化執行的 Dataflow 管道。接著,使用 Cloud Composer (基於 Apache Airflow) 建立工作流,可以輕鬆地協調此 Dataflow 管道,使其在載入工作完成後觸發執行,無論載入時間如何。Composer 提供了強大的排程、監控和依賴管理功能,非常適合處理此類複雜的排程需求。在 Dataprep 中建立 cron 排程無法處理不固定的觸發時間。建立 App Engine cron 工作來排程 Dataprep 工作的執行,雖然可行,但不如 Composer 提供的數據管道協調能力強大和靈活。將配方匯出為 Dataprep 範本並在 Cloud Scheduler 中建立工作,同樣無法有效處理不固定的觸發時間。
通過考試 — 無需無休止地尋找答案
集中一處獲取此考試的所有核實題目和解釋,節省數小時的準備時間。1,000 多種認證 · 20 多種語言 · 免費開始。
更快通過您的考試 → 無需信用卡