合作伙伴每天将数据文件放入 Amazon S3 存储桶中。AWS Glue ETL 作业每天清理和转换文件，并将结果写入另一个 S3 存储桶中的 Daily.csv 文件。有时，传入文件为空或缺少必需字段；发生这种情况时，公司希望保留前一天的 CSV 文件。工程师必须确保仅在新文件完整且有效时才覆盖前一天的文件。哪种解决方案能以最少的精力实现此目标？

正确答案是“在 ETL 作业中启用 AWS Glue Data Quality，并编写 Data Quality Definition Language (DQDL) 规则来检查空文件和缺失的必需值。” AWS Glue Data Quality 专门用于在 ETL 过程中评估数据质量。通过编写 DQDL 规则，您可以轻松定义检查空文件和缺失必需字段的逻辑。如果数据质量检查失败，Glue ETL 作业可以配置为不覆盖前一天的文件，从而满足需求。 其他选项的不足之处在于： 触发 AWS Lambda 函数会增加额外的复杂性和维护负担，因为需要单独管理 Lambda 代码和触发机制。 修改 AWS Glue Studio 中的 ETL 作业代码来估算缺失值，这不符合“仅在新文件完整且有效时才覆盖”的要求，因为估算会改变原始数据。 运行 Amazon Athena SQL 查询来清理数据，这通常是在数据已经写入 S3 之后进行，不适合在写入前进行验证和条件性覆盖的场景。