한 소셜 미디어 회사가 불쾌한 콘텐츠를 감지하기 위해 이미지 분류 모델(SageMaker의 내장 이미지 분류기 사용)을 훈련할 예정입니다. 훈련 속도를 높이기 위해 파이프 모드를 사용할 것입니다. 데이터 세트는 Training, Validation, Test 폴더로 나뉘며, 클래스 하위 폴더가 있고, 이미지는 균일하게 크기가 조정되었으며, training.lst 및 validation.lst라는 두 개의 매니페스트 파일이 있습니다. 훈련 및 검증 업로드를 위해 별도의 S3 버킷을 생성했습니다. S3에 업로드하기 전에 어떤 추가 데이터 준비 단계를 수행해야 할까요?

SageMaker의 내장 이미지 분류기는 파이프 모드에서 RecordIO 형식을 사용하여 훈련 속도를 최적화합니다. im2rec 유틸리티는 이미지 파일과 매니페스트 파일(training.lst, validation.lst)을 RecordIO 형식으로 변환하는 데 사용됩니다. 이렇게 변환된 RecordIO 파일은 S3 버킷에 업로드되어 파이프 모드 훈련에 직접 사용될 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. Pandas DataFrame 및 Parquet 파일: 이는 이미지 데이터에 적합한 형식이 아니며, 특히 내장 이미지 분류기와 파이프 모드에 최적화되어 있지 않습니다. Snappy 또는 gzip 압축: 압축 자체는 파이프 모드에서 직접 지원하는 데이터 형식이 아니며, 내장 이미지 분류기가 예상하는 형식이 아닙니다. RecordIO는 이미 효율적인 저장 및 스트리밍을 제공합니다.