한 지리 공간(geospatial) 회사가 선박 감지를 위해 매일 위성 이미지를 Amazon S3에 저장합니다. 훈련 데이터가 점진적으로 증가하고 있으며, File 입력 모드에서 단일 ml.p2.xlarge 인스턴스를 사용하는 SageMaker 훈련 작업이 최근 로컬 스토리지 부족으로 인해 실패하기 시작했습니다. 유일한 변경 사항은 데이터 증가였습니다. 이 솔루션은 스토리지 문제를 해결하는 동시에 성능을 최적화하고 훈련 비용을 최소화해야 합니다. ML 전문가는 어떤 변경을 해야 할까요?

Pipe 입력 모드는 훈련 데이터를 S3에서 SageMaker 인스턴스로 직접 스트리밍하여 로컬 스토리지 요구 사항을 제거합니다. 이는 데이터 증가로 인한 로컬 스토리지 부족 문제를 해결하는 가장 효과적인 방법입니다. 또한, 데이터를 다운로드하는 시간을 줄여 훈련 성능을 최적화하고, 불필요한 스토리지 사용을 방지하여 비용 효율적입니다. 두 개의 ml.p2.xlarge 인스턴스를 사용하거나 단일 ml.p3.2xlarge 인스턴스를 사용하는 것은 컴퓨팅 성능을 증가시키지만, 로컬 스토리지 부족 문제를 직접적으로 해결하지 못하며 비용만 증가시킬 수 있습니다. Amazon EFS는 공유 파일 시스템이지만, S3보다 비용이 높고 SageMaker 훈련 작업에서 Pipe 모드만큼 효율적인 입력 방법은 아닙니다.