某公司将训练数据以嵌套 JSON 文件的形式存储在 S3 中,并且需要表格格式用于 XGBoost 训练。哪种方法将这些 JSON 文件转换为表格数据的操作开销最小?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 创建使用 Relationalize 转换来转换文件的 AWS Glue PySpark 作业。.
为什么这是答案
正确答案是使用 AWS Glue PySpark 作业和 Relationalize 转换。AWS Glue 的 Relationalize 转换专门设计用于将半结构化数据(如嵌套 JSON)自动转换为表格格式,操作开销最小,因为它内置了此功能,无需手动编写复杂的转换逻辑。 其他选项的缺点: 编写自定义 Scala 代码并在 Amazon EMR Serverless 上运行:虽然可行,但这需要编写和维护大量自定义代码,操作开销较大。 使用 Python Lambda 函数调用 reduce():Lambda 函数有执行时间限制,且 reduce() 函数不适合处理大型嵌套 JSON 文件,效率低下,且需要手动编写复杂的逻辑。 在 JSON 文件上创建 Amazon Athena 数据库并使用 flatten 函数:Athena 的 flatten 函数可以处理嵌套数据,但它主要用于查询,而不是高效地将数据转换为持久的表格格式以供后续训练,并且对于大规模数据转换,性能和成本可能不如 Glue 作业优化。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡