Задание на обучение SageMaker считывает миллионы файлов S3, каждый размером в несколько мегабайт, и производительность обучения низкая. Какое изменение быстрее всего повысит пропускную способность обучения?

FSx for Lustre — это высокопроизводительная файловая система, оптимизированная для рабочих нагрузок машинного обучения, требующих высокой пропускной способности и низких задержек. Она может быть связана с существующим бакетом S3, что позволяет быстро импортировать и экспортировать данные, значительно ускоряя доступ к миллионам мелких файлов по сравнению с прямым чтением из S3. S3 Express One Zone может улучшить производительность S3, но FSx for Lustre предлагает более высокую пропускную способность для крупномасштабных параллельных операций ввода-вывода. EFS имеет более высокую задержку и меньшую пропускную способность по сравнению с FSx for Lustre для таких рабочих нагрузок. ElastiCache (Redis) не предназначен для хранения и доступа к миллионам файлов такого размера, его использование усложнит архитектуру и не обеспечит необходимой производительности для обучения.