一位数据工程师正在构建一个自动化的 AWS Glue ETL 流水线,该流水线从 Amazon S3 存储桶摄取压缩文件,并且必须支持增量处理。哪个 AWS Glue 功能支持增量摄取?
选择一个答案
点击一个选项来检查您的答案。
正确答案: Job bookmarks.
为什么这是答案
Job bookmarks 是 AWS Glue 的一项功能,它能跟踪上次成功运行 ETL 作业后已处理的数据。当作业再次运行时,它只会处理自上次运行以来新增或更改的数据,从而实现增量处理。这对于需要高效处理大量持续增长数据的 ETL 流水线至关重要,因为它避免了重复处理已有的数据,节省了计算资源和时间。 Workflows(工作流)用于编排多个 AWS Glue 作业、爬网程序和触发器,但本身不提供增量处理功能。Triggers(触发器)用于启动 AWS Glue 作业,例如基于时间表或事件,但它们不管理数据处理状态。Classifiers(分类器)用于推断数据模式,与增量摄取无关。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡