一位数据工程师必须编排一组 Python ETL 任务,其中包括在 Amazon EMR 上运行 Spark 作业、调用 Salesforce API 以及将数据加载到 Amazon Redshift。编排应自动处理重试和故障。工程师应该使用哪种 AWS 服务?
选择一个答案
点击一个选项来检查您的答案。
正确答案: Amazon Managed Workflows for Apache Airflow (Amazon MWAA).
为什么这是答案
Amazon MWAA 是编排复杂数据管道的理想选择,因为它支持 Apache Airflow,这是一个广泛使用的开源工具,用于以编程方式创作、调度和监控工作流。MWAA 可以轻松地集成各种 AWS 服务(如 EMR 和 Redshift)以及外部 API(如 Salesforce),并提供内置的重试和故障处理机制。 AWS Step Functions 适用于构建无服务器工作流,但对于包含 Spark 作业等长时间运行的计算任务的复杂 ETL 管道,MWAA 通常更具灵活性和控制力。AWS Glue 是一种无服务器数据集成服务,主要用于 ETL 作业的开发和运行,但其编排能力不如 MWAA 强大。Amazon EventBridge 是一种无服务器事件总线,主要用于事件驱动型架构,不适合作为复杂的、多步骤 ETL 任务的编排工具。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡