一家公司将数百万个 1 KB 的 JSON 测试结果文件从全球测试设施存储在 S3 中。数据工程师必须将这些文件转换为 Apache Parquet 并加载到 Amazon Redshift 中。当前的管道使用 AWS Glue 进行处理，使用 Step Functions 进行编排，使用 EventBridge 进行调度。随着更多设施的增加，处理时间也随之增加。哪项更改能最大程度地减少处理时间？

正确答案是使用 AWS Glue 动态帧文件分组选项。处理数百万个小文件（1 KB JSON）会导致大量开销，因为每个文件都需要单独的读取操作和元数据处理。AWS Glue 动态帧的文件分组选项（例如 groupFiles 或 groupSize）可以将这些小文件合并成更大的文件，从而显著减少读取操作的数量，提高处理效率。 其他选项的缺点： 使用 AWS Lambda 分组文件会增加额外的复杂性和成本，并且 Lambda 的并发限制可能成为瓶颈。 直接使用 Amazon Redshift COPY 命令将原始小文件加载到 Redshift 会继承小文件问题，导致加载效率低下。Redshift COPY 更适合加载少量大文件。 使用 Amazon EMR 而不是 AWS Glue 也可以解决小文件问题，但 AWS Glue 动态帧提供了更集成和简化的解决方案，尤其是在现有管道已经使用 AWS Glue 的情况下，可以避免引入新的复杂服务。