合作夥伴每天都會將資料檔案放入 Amazon S3 儲存貯體中。AWS Glue ETL 任務每天清理並轉換檔案，然後將結果寫入另一個 S3 儲存貯體中的 Daily.csv。有時傳入的檔案是空的或缺少必要的欄位；發生這種情況時，公司希望保留前一天的 CSV。工程師必須確保只有在新的每日檔案完整且有效時，才會覆寫前一天的檔案。哪種解決方案能以最少的工作量達成此目的？

AWS Glue Data Quality (DQ) 旨在直接在 ETL 任務中處理資料品質檢查。透過在 Glue ETL 任務中啟用 DQ 並撰寫 DQDL 規則，您可以自動檢查空檔案和缺少必要欄位。如果資料品質檢查失敗，Glue ETL 任務可以配置為不寫入輸出，從而保留前一天的有效檔案。這是一個整合且高效的解決方案，需要最少的工作量，因為它利用了現有 ETL 流程內建的功能。 其他選項效率較低或不符合要求： Lambda 函數會增加額外的複雜性和協調負擔，並且需要自行管理驗證邏輯。 修改 Glue Studio 中的 ETL 任務程式碼來填補遺失欄位，可能會在資料無效時寫入不正確的資料，而不是保留前一天的檔案。 Athena SQL 查詢是用於分析，而不是用於在寫入之前進行資料品質驗證和條件式寫入，並且會增加額外的步驟和成本。