一位机器学习工程师需要合并并转换来自两个来源的每周数据：S3 中大型 CSV 文件（每个文件包含数百万行）和 Amazon Aurora 集群。合并后的输出必须写入另一个 S3 存储桶。哪个选项能以最少的运维开销实现此目标？

正确答案是使用 Apache Spark 引擎调度每周 AWS Glue 作业，并使用 DynamicFrame 操作来合并和转换数据。AWS Glue 是一种无服务器数据集成服务，非常适合处理大规模数据转换和合并任务，且运维开销最低。它支持 Apache Spark，并提供 DynamicFrame，可以简化来自不同来源的数据处理。 其他选项的运维开销较高： 预置瞬态 Amazon EMR 集群需要管理集群配置和生命周期。 AWS Lambda 函数不适合长时间运行的 Spark 作业，因为 Lambda 有执行时间限制。 在 EC2 实例上运行 AWS Batch 作业需要管理 EC2 实例和 Batch 配置。