一位開發人員正在偵錯一個 AWS Glue 任務,該任務從 S3 讀取資料並寫入 Amazon Redshift。書籤已啟用,且最大並行數設定為 1。該任務成功寫入 Redshift,但後續執行會重新處理先前執行中已載入的檔案。最可能的原因是什麼?
選擇一個答案
點擊一個選項來檢查您的答案。
正確答案: AWS Glue 任務缺少必要的 commit 陳述式。.
為什麼這是答案
AWS Glue 任務缺少必要的 commit 陳述式是導致重複處理的最可能原因。當 AWS Glue 任務成功寫入 Redshift 但沒有明確提交事務時,Glue 書籤無法正確追蹤已處理的檔案。這會導致在後續執行中,Glue 任務認為這些檔案尚未處理,從而重新載入它們。 其他選項不正確: s3:GetObjectAcl 權限與 Glue 書籤的運作無關。Glue 書籤主要依賴於 S3 物件的修改時間和 ETag 來追蹤狀態。 最大並行數設定為 1 不會直接導致重複處理。它只會限制同時執行的任務數量。 錯誤指定較舊版本的 AWS Glue 可能會導致其他問題,但不太可能直接導致書籤無法追蹤已提交的資料。
通過考試 — 無需無休止地尋找答案
集中一處獲取此考試的所有核實題目和解釋,節省數小時的準備時間。1,000 多種認證 · 20 多種語言 · 免費開始。
更快通過您的考試 → 無需信用卡