正确答案: 创建一个Amazon FSx for Lustre文件系统,将其链接到现有的S3存储桶,并让训练作业从FSx for Lustre读取数据。.
为什么这是答案
当SageMaker训练作业需要处理数百万个小文件时,S3的请求开销会成为性能瓶颈。Amazon FSx for Lustre是一种高性能文件系统,专为计算密集型工作负载设计,可以提供高吞吐量和低延迟的文件访问。通过将FSx for Lustre与现有S3存储桶链接,训练作业可以像访问本地文件系统一样访问S3数据,从而显著提高数据加载速度和训练吞吐量。
其他选项的不足:
S3 Express One Zone虽然提供了更低的延迟,但其主要优势在于单对象操作,对于数百万个小文件的场景,仍然存在S3 API调用的开销,提升有限。
Amazon EFS是通用文件系统,其性能通常不如FSx for Lustre,且需要将数据复制过去,增加了复杂性。
ElastiCache (Redis OSS)是内存数据存储,不适合直接存储和传输数百万个文件,其设计用途是缓存和会话管理,不适用于此场景。