一家公司使用 Amazon QuickSight 控制面板,该面板由处理存储在单个 S3 存储桶中的数据的 AWS Glue 作业提供数据。新数据每天都会添加,并且由于 AWS Glue 作业运行时间变长,控制面板查询速度变慢。数据工程师应采取哪些措施来加快 AWS Glue 作业?(选择两项)
选择一个答案
点击一个选项来检查您的答案。
正确答案: 对 S3 存储桶中的数据进行分区。按年、月、日组织数据。, 通过纵向扩展 worker type 来增加 AWS Glue 实例大小。.
为什么这是答案
将 S3 存储桶中的数据按年、月、日分区,可以显著减少 AWS Glue 作业扫描的数据量,从而加快作业执行速度并提高 QuickSight 查询性能。AWS Glue 作业通常会从 S3 读取数据,分区使得作业能够只处理相关数据,而不是整个数据集。 通过纵向扩展 worker type 来增加 AWS Glue 实例大小,可以为作业提供更多的计算资源(CPU、内存),从而并行处理更多数据,缩短作业运行时间。这对于处理大量数据或复杂转换的作业尤其有效。 将 AWS Glue 架构转换为 DynamicFrame 架构类与加速作业无关,DynamicFrame 是 AWS Glue 的数据结构,通常用于简化 ETL 操作,但其本身不直接影响作业性能。调整 AWS Glue 作业调度频率并不能加快单个作业的运行速度,只是改变了作业运行的次数。修改 IAM 角色以授予所有 S3 功能的访问权限是不必要的,且违反最小权限原则,与作业性能无关。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡