SageMaker 내장 알고리즘용 CSV 훈련 데이터를 준비할 때, 데이터셋을 numpy.array로 변환하면 훈련 속도가 저하되었습니다. SageMaker 내장 알고리즘에 대한 훈련 데이터를 최적화하려면 어떻게 해야 합니까?

SageMaker 내장 알고리즘은 RecordIO protobuf 형식을 사용할 때 가장 효율적으로 훈련 데이터를 처리합니다. 이 형식은 대규모 데이터셋에 최적화되어 있어 데이터 로딩 및 처리 속도를 크게 향상시킵니다. numpy.array는 파이썬에서 일반적인 데이터 구조이지만, SageMaker의 분산 훈련 환경에서는 최적의 성능을 제공하지 못할 수 있습니다. 배치 변환을 사용한 DataFrame 변환은 훈련 속도 최적화와 직접적인 관련이 적고, AWS Glue를 사용한 Parquet 변환은 스토리지 효율성에는 좋지만 SageMaker 내장 알고리즘의 훈련 속도 최적화에 RecordIO만큼 직접적인 이점을 주지는 않습니다. 하이퍼파라미터 최적화는 모델 성능을 개선하는 것이지 데이터 형식을 최적화하는 방법이 아닙니다.