VideoAI는 S3에 40TB의 원시 비디오 프레임을 저장하고 인스턴스 스토리지가 1TB에 불과한 GPU 인스턴스에서 훈련합니다. 훈련 루프는 여러 epoch 동안 데이터 세트를 순차적으로 읽고 stdin 호환 인터페이스에서 레코드를 스트리밍할 수 있습니다. 어떤 SageMaker 입력 모드를 선택해야 하며 그 이유는 무엇입니까?

Pipe 모드는 훈련 컨테이너가 S3에서 직접 데이터를 스트리밍하여 인스턴스 스토리지에 전체 데이터 세트를 다운로드할 필요가 없도록 합니다. 40TB 데이터 세트가 1TB 인스턴스 스토리지를 초과하므로 이는 필수적입니다. 알고리즘이 순차적 스트리밍을 지원하고 stdin 호환 인터페이스를 사용하므로 Pipe 모드가 이상적입니다. File 모드는 훈련 전에 모든 데이터를 인스턴스 스토리지에 다운로드하므로, 데이터 세트가 인스턴스 스토리지보다 클 경우 적합하지 않습니다. EBSVolumeSize를 50TB로 설정하는 것은 Pipe 모드의 목적과 상충되며 불필요한 비용을 발생시킵니다. S3를 POSIX 파일 시스템으로 마운트하는 것은 SageMaker의 기본 입력 모드가 아니며 복잡성을 증가시킵니다.