某公司每天在同一时间运行 AWS Glue ETL 作业,以处理存储在 Amazon S3 存储桶中的 XML 数据。S3 存储桶中每天都会添加新数据。解决方案架构师注意到 AWS Glue 每次运行时都会重新处理所有数据。解决方案架构师应该怎么做才能防止 AWS Glue 重新处理旧数据?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 编辑作业以使用作业书签。.
为什么这是答案
正确答案是“编辑作业以使用作业书签”。AWS Glue 作业书签会跟踪已处理的数据,确保下次运行时只处理新数据,从而防止重复处理旧数据并提高效率。 “编辑作业以在数据处理后删除数据”是不可行的,因为这会导致数据丢失,并且通常不符合数据保留策略。 “通过将 NumberOfWorkers 字段设置为 1 来编辑作业”会限制作业的并行度,可能导致作业运行时间更长,但不会解决重复处理旧数据的问题。 “使用 FindMatches 机器学习 (ML) 转换”是用于识别重复或相似记录的,与防止重复处理已摄取数据无关。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡