Компания обучает модели в SageMaker, используя 200 ТБ данных, хранящихся в S3. Набор данных состоит из множества файлов, каждый из которых превышает 200 МБ. Компания хочет добиться максимально быстрого времени обработки при минимальных усилиях по настройке. Какой метод доступа к данным следует использовать?

Режим SageMaker FastFile (также известный как Pipe mode) оптимален для больших наборов данных (200 ТБ) с крупными файлами (более 200 МБ), поскольку он потоково передает данные непосредственно из S3 в контейнер обучения по запросу. Это минимизирует время запуска обучения, так как нет необходимости полностью копировать данные заранее, и снижает затраты на хранение на инстансе. Режим File mode (копирование данных) был бы слишком медленным и дорогим для такого объема данных. Amazon FSx for Lustre может обеспечить высокую производительность, но требует дополнительных усилий по настройке и управлению, что противоречит требованию "минимальных усилий". Amazon EFS не подходит для такого объема данных и высокопроизводительных сценариев машинного обучения из-за более низкой пропускной способности по сравнению с FastFile или FSx for Lustre.