某公司執行多個 AWS Glue ETL 任務,這些任務每天一次使用 DynamicFrame 讀取 S3 資料,並將轉換後的資料載入 Amazon RDS for MySQL。目前,這些任務會重新處理 S3 儲存貯體中的所有物件,但該公司希望這些任務只處理每日增量資料。哪種解決方案所需的程式碼變更最少?
選擇一個答案
點擊一個選項來檢查您的答案。
正確答案: 為 ETL 任務啟用任務書籤 (job bookmarks),以便在執行後更新狀態,以追蹤先前已處理的資料。.
為什麼這是答案
為 ETL 任務啟用任務書籤 (job bookmarks) 是最有效且程式碼變更最少的解決方案。AWS Glue 任務書籤會自動追蹤已處理的 S3 資料,並在後續執行時僅處理新的或變更的資料,無需手動管理檔案狀態或編寫額外的程式碼。 其他選項的缺點: 建立一個 ETL 任務,讀取 S3 檔案狀態並將狀態記錄在 Amazon DynamoDB 中:這需要額外的開發工作來實作狀態追蹤邏輯和 DynamoDB 的整合。 為 ETL 任務啟用任務指標 (job metrics),以協助在 Amazon CloudWatch 中追蹤已處理的物件:任務指標主要用於監控任務效能,而非追蹤資料處理狀態以實現增量處理。 設定 ETL 任務,使其在每次執行後從 Amazon S3 中刪除已處理的物件:刪除原始資料可能導致資料遺失或難以進行重新處理,且不是增量處理的最佳實踐。
通過考試 — 無需無休止地尋找答案
集中一處獲取此考試的所有核實題目和解釋,節省數小時的準備時間。1,000 多種認證 · 20 多種語言 · 免費開始。
更快通過您的考試 → 無需信用卡