一家公司运行多个 AWS Glue ETL 作业,这些作业每天使用 DynamicFrame 读取 S3 数据,并将转换后的数据加载到 Amazon RDS for MySQL 中。目前,这些作业会重新处理 S3 存储桶中的所有对象,但公司希望作业只处理每日增量数据。哪种解决方案所需的代码更改最少?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 为 ETL 作业启用作业书签,以便在运行后更新状态,从而跟踪以前处理过的数据。.
为什么这是答案
启用 AWS Glue 作业书签是处理增量数据的最有效方法,因为它会自动跟踪已处理的文件和分区,从而避免重复处理。作业书签在每次成功运行后更新其状态,确保下一次运行时只处理新数据。这大大减少了所需的代码更改,因为 Glue 服务本身管理状态。 其他选项的缺点: 创建一个 ETL 作业来读取 S3 文件状态并将其记录在 DynamoDB 中需要额外的开发工作来管理状态逻辑,这比使用作业书签更复杂。 为 ETL 作业启用作业指标有助于监控,但不能直接用于跟踪和跳过已处理的数据,无法实现增量处理。 配置 ETL 作业在每次运行后从 Amazon S3 中删除已处理的对象会丢失历史数据,这通常不是一个可接受的解决方案,并且可能导致数据丢失或审计问题。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡