한 전문가는 S3에 매우 큰 훈련 데이터셋(수백만 개의 레코드)을 가지고 있습니다. SageMaker 노트북의 5GB EBS 볼륨으로 모든 데이터를 복사하는 것을 피하면서도 전체 데이터셋으로 훈련하고 싶습니다. 로컬 복사를 최소화하면서 전체 데이터셋을 훈련에 사용할 수 있는 워크플로우는 무엇입니까?

정답은 S3에서 직접 데이터를 스트리밍하는 SageMaker의 Pipe input mode를 활용하여 대규모 데이터셋을 효율적으로 처리하는 워크플로우를 설명합니다. 노트북에서 작은 하위 집합으로 코드를 검증하는 것은 개발 단계에서 시간을 절약하고 비용을 줄이는 좋은 방법입니다. Pipe input mode는 훈련 인스턴스의 EBS 볼륨에 전체 데이터셋을 복사할 필요 없이 S3에서 데이터를 직접 읽기 때문에, 5GB EBS 볼륨의 제한을 우회하고 매우 큰 데이터셋으로 훈련할 수 있습니다. 오답인 Deep Learning AMI가 설치된 EC2 인스턴스를 시작하는 옵션은 SageMaker의 관리형 훈련 기능을 활용하지 않아 불필요한 인프라 관리 오버헤드를 발생시킵니다. AWS Glue를 사용하는 옵션은 데이터 변환에 유용하지만, 훈련 데이터셋을 직접 스트리밍하는 문제에 대한 최적의 해결책은 아닙니다. 마지막 오답은 EC2 인스턴스를 사용하여 전체 데이터셋으로 훈련하는 것을 제안하지만, SageMaker의 Pipe input mode가 제공하는 효율성과 관리 용이성을 놓칩니다.