SageMakerトレーニングジョブが、それぞれ数MBのS3ファイルを数百万個読み取っており、トレーニングのパフォーマンスが遅いです。トレーニングのスループットを最も迅速に改善できる変更はどれですか？

数百万個の小さなファイルを読み込む際のトレーニングパフォーマンスのボトルネックは、S3のオブジェクトストレージの特性（高レイテンシー、低IOPS）に起因します。Amazon FSx for Lustreは、高性能なファイルシステムであり、S3バケットにリンクすることで、S3のデータをファイルシステムとして高速にアクセスできます。これにより、小さなファイルの読み込みスループットが大幅に向上し、トレーニング時間を短縮できます。 S3 Express One Zoneは、高スループットを実現しますが、数百万個の小さなファイルのアクセスパターンにはFSx for Lustreの方が適しています。Amazon EFSは、汎用的なファイルシステムですが、FSx for Lustreほどの高性能ではありません。ElastiCache (Redis OSS) はインメモリデータストアであり、ファイルアクセスには適していません。