Геопространственная компания хранит ежедневные спутниковые снимки в Amazon S3 для обнаружения судов. Объем обучающих данных постепенно увеличивается, и задание SageMaker для обучения с использованием одного экземпляра ml.p2.xlarge в режиме File input недавно начало завершаться сбоем из-за недостаточного локального хранилища; единственным изменением было увеличение объема данных. Решение должно устранить проблему с хранилищем, одновременно оптимизируя производительность и минимизируя затраты на обучение. Какое изменение должен внести специалист по машинному обучению?

Проблема с недостаточным локальным хранилищем при использовании режима File input возникает из-за того, что данные полностью загружаются на локальный диск экземпляра SageMaker. Режим Pipe input (потоковый ввод) решает эту проблему, передавая данные непосредственно в обучающий скрипт по мере необходимости, избегая полного скачивания и тем самым экономя локальное хранилище. Это также улучшает производительность, поскольку обучение может начаться до полной загрузки всех данных, и минимизирует затраты, так как не требуется масштабировать экземпляры для увеличения хранилища. Использование двух экземпляров ml.p2.xlarge не решит проблему с хранилищем на каждом отдельном экземпляре и увеличит затраты. Экземпляр ml.p3.2xlarge имеет больше ресурсов, но не гарантирует решения проблемы с локальным хранилищем, если объем данных продолжит расти, и значительно дороже. Использование Amazon EFS для хранения входных данных не является стандартной практикой для SageMaker и не оптимизировано для производительности по сравнению с S3 в сочетании с Pipe input.